Les obres de construcció es van iniciar l'any 1772, un cop adquirits els terrenys de dues finques confrontants, entre l'església de Betlem i el convent de Sant Josep. L'envergadura del treball va ser tan gran que durant uns quants anys va ser tema de les converses quotidianes dels barcelonins.Durant el procés de construcció es va intervenir una fortuna en materials nobles i es va contractar una legió de treballadors de les especialitats més diverses.
El nom actual de Palau de la Virreina sorgeix d'una història rocambolesca. Poc després de tornar a Barcelona, Amat es va casar per sorpresa , per resoldre un greuge familiar, amb la jove Maria Francesca de Fivaller i Bru, una novícia de la noblesa que estava reclosa en un convent. Junts , es van instal·lar a la ''casa de la Rambla'', però la inesperada mort del virrei va deixar la jove Fivaller sola a càrrec de la mansió. Aleshores , amb la sobrevinguda viduïtat de Maria Fivaller, al marge dels cercles aristocràtics, es va anar popularitzant la denominació de tots coneixem avui.
Aquest edifici no va ser mai un palau.No podia tenir aquest rang perquè en aquella època Amat ja estava jubilat. I per aquest mateix motiu,Maria Fivaller no va exercir mai oficialment com a virreina. Tan alta distinció va ser otorgada a la jove, i al lloc, per l'imaginari ciutadà.
