La Confraternita, nota ai fiorentini semplicemente come La Misericordia, si è dedicata fin dall'inizio della sua storia al trasporto dei malati verso gli ospedali della città, alla raccolta di elemosine per maritare fanciulle povere, alla sepoltura dei defunti, e ad altre opere di carità. La sua fondazione risale all'epoca di predicazione di San Pier Martire a Firenze come riportato in un registro trecentesco dell'Arciconfraternita che si apre con la seguente affermazione: la Confraternita fu "cominciata per lo beato Messer Santo Pietro martire dell'Ordine dei predicatori". Si trattò, in particolare, di una filiazione della Societas Fidei costituita nel 1244, col nome di Compagnia di Santa Maria della Misericordia. Riguardo ad una leggenda che vuole fondatore il facchino Pietro Borsi non esistono testimonianze storiche ed è quindi da considerarsi frutto di fantasia.Nel 1321 si dotò di una sede stabile in piazza San Giovanni prospiciente al Battistero]. In seguito alla peste del 1348 decise di aggiungere alle sale dei capitani anche un Oratorio con rispettiva loggia quale spazio di accoglienza.
La Confraternita si distinse rapidamente soprattutto per la costante attività nel campo del trasporto degli infermi e della sepoltura dei defunti, in special modo durante le sempre più frequenti pestilenze. In breve tempo crebbe di numero e popolarità, nonché inevitabilmente di ricchezza, quando iniziarono ad affluire donazioni e lasciti testamentari.
Nel XIV secolo la Confraternita venne riconosciuta dal Comune come una vera e propria istituzione pubblica in una provvisione del 31 marzo 1329 con la quale si dava ai Fratelli il diritto di eleggersi i propri responsabili (Capitani).