Nach seiner Rückkehr aus Florenz bezog Winckelmann am 16. Juni 1759 vier Zimmer im Obergeschoß des Stadtpalastes Albani an den Quattro Fontane. Von hier aus hatte er einen sehr schönen Blick über die Dächer und antiken Ruinen Roms hinüber zum Quirinal und zum Petersdom, bei guter Sicht bis zu den Landhäusern von Frascati und zum Castel Gandolfo, seit Urban VIII. (Papst 1623–1644) Sommerresidenz des Papstes.

Winckelmanns Aufgabe war es bei Albani, „ihm zur Gesellschaft zu dienen, und der Aufseher seiner großen und gewählten Bibliothek zu seyn“, die zum Teil von dessen Onkel Papst Clemens XI. gestiftet worden war. Über sein Leben bei Albani und den vertraulichen Umgang mit dem Kardinal berichtet Winckelmann seinen Freunden in Deutschland mehrfach. Der antikenbegeisterte Kardinal unterstützte Winckelmann gern bei seinen Forschungen. Die Antikensammlung des Kardinals gehörte schon damals zu den größten Privatsammlungen Roms.

1746 begann der Kardinal mit dem Bau einer Villa an der nach Norden aus Rom hinausführenden Via Salaria, in der seine Antikensammlung untergebracht werden sollte. Im Sommer 1763 konnte das Haupthaus eingeweiht werden. In den nächsten Jahren folgten die anderen Gebäude, die großartige Gartenanlage wurde erst nach dem Tode Albanis fertig.