Una delle poche case costruite dai familiari e dai collaboratori dei Carraresi che si siano conservate sino ad oggi è l'elegante palazzetto Bonaffari, posto in posizione centrale nella piazza del Duomo, proprio di fronte alla chiesa. È impossibile risalire all'aspetto architettonico originario dell'esterno, in quanto l'attuale è il risultato dei restauri novecenteschi che l'hanno liberato di pesanti superfetazioni cinquecentesche.
Originale e interessante è il cortile interno, scandito da tre ordini di logge sovrapposte. Nel 1370 l'edificio risultava proprietà di Jacobello da Milano, poi passò a Baldo dei Bonaffari da Piombino, studente di diritto presso lo Studio patavino nel 1381, poi giurista e consigliere della famiglia carrarese. Incaricato di delicate ambascerie anche presso i Visconti, Baldo dei Bonaffari si era distinto per una fedelta integerrima nei confronti di Francesco Novello, che l'aveva premiato favorendo il matrimonio con la ricca Sibilla de Cetto. Con la moglie progetto, finanzio e realizzo la costruzione dell'Ospedale e della chiesa di San Francesco.