Na počátku patnáctého století byl Palazzo Borromeo jako „městské osídlení“ sestávající z jádra majitele, kolem kterého byly agregovány menší nádvoří, kanceláře, sklady, hostující byty a skromnější bydlení pro podřízené.To dalo prestiž rodině, z níž se Palazzo jmenuje.Rodina, která se přestěhovala do Milána na konci čtrnáctého století a stala se jednou z předních rodin milánské aristokracie.Milánská historie ve skutečnosti připomíná důležité postavy, které navštěvovaly palazzo, jako je St. Carlo Borromeo, Cardinal Federico a Giovan Battista, kteří byli poradci Francesca Sforzy.
Palazzo byl vážně poškozen bombardováním ve druhé světové válce a následně rekonstruován Ferdinando Reggiori.Budova si zachovává původní fasádu ve stylu sedmnáctého století v exponované cihel, která zahrnuje krásný klenutý portál, sestávající z bloků růžového mramoru z cangoglie a červeného mramoru z Verony, zdobené pásma zobrazujícím vinné révy a dubové větve.
Fasáda patnáctého století stále stojí na hlavním nádvoří se šesti velkými elegantními okny zdobenými v terakotě s vlysem řady prokládaných oblouků pod okenní zbraní.Stopy freska jsou stále vidět na sádře a je možné zahlédnout dva z motivů rodiny Borromeo: koruna a slovo „humiltatis“.