Erroneamente detto di Vesta, il tempio è circolare con venti colonne corinzie, poggiante su un basso podio di gradini di marmo. L’architetto fu probabilmente Hermodoros di Salamina, mentre la statua di culto sembra fosse opera di Skopas Minore, scultore greco della fine del II secolo a.C. 

Anche i capitelli sembrano essere di fattura greca, eseguiti su modelli ellenistici. L’edificio era dedicato ad Ercole Vincitore, protettore dei commercianti italici che svolgevano le loro attività nel vicino Foro Boario. Costruito verso la fine del II secolo a.C., è il più antico tempio in marmo conservato a Roma.

L’edificio subì un restauro sotto Tiberio, probabilmente dopo l’inondazione del 15 d.C. Nel XII secolo (1140) fu trasformato nella chiesa di Santo Stefano delle Carrozze, e dalla metà del XVI secolo, prima dell’abbandono, fu dedicato a San Maria del Sole a causa di un’immagine miracolosa della Madonna ritrovata nel Tevere. 

All’interno si conserva ancora un affresco della fine del XV secolo raffigurante la Madonna col Bambino e Santi. L’intero edificio e l’affresco sono stati recentemente restaurati.