Originalmente dalla pianta a quadrilatero, con quattro torrette che gli davano quasi  l’aspetto di un castello, attualmente del palazzo di via Alboino ci rimangono i lati di ponente e mezzogiorno e parte di quello settentrionale, con una serie di finestroni ogivali dotati di davanzali decorati con fregi in cotto.
Sul lato meridionale vi sono i resti di una serie di affreschi quattrocenteschi attribuiti a Giovanni da Senato, mentre sotto un androne  c’e un dipinto con la scritta “Dominus defensor innocentiae”