Die Anfänge des Ortes in der Antike bezeugen Überreste von Bauwerken aus der frühen Kaiserzeit, die sich mit den Spuren späterer Besiedlung im Mittelalter und in der frühen Neuzeit verbinden. Allerdings ist die Quellenlage bis ins frühe Mittelalter dürftig. Es ist lediglich bekannt, dass das Grundstück im Jahre 1115 als Kloster zur Benediktinerabtei Subiaco gehörte und im 12. Jahrhundert im Besitz der Adeligen von Colonna war. Danach gibt es bis 1599 keine zuverlässigen Quellen. Der heutige Altbau muss im 16. Jahrhundert entstanden sein.

Aus dem Jahr 1599 wird der Verkauf der Villa von der Familie Sordi an De Vadis berichtet, die aber schon bald in große Schulden gerieten, sodass sie San Pastore 1644 dem Dominikanerkonvent San Sisto verkauften, von wo aus der Palazzo 20 Jahre später zunächst in den Besitz des Dominikanergenerals und schließlich in die Hände der Generalkurie der Dominikaner gelangte. In dieser Zeit pflanzte man Ölbäume und legte eine Ölmühle an.

In ihrer jetzigen Gestalt zeichnet sich die Villa durch das spätbarocke Haupttreppenhaus mit den dahinterliegenden Repräsentationsräumen, vor allem aber durch die um 1759 errichtete Kirche aus. Diese weist die Gestalt eines Zentralbaus mit vier Kreuzarmen auf, die vom Kuppelbereich ausgehen. Die Stuckdekoration enthält verschiedene Hinweise auf den Dominikanerorden, ebenso der Hauptaltar und der rechte Seitenaltar, während der linke Seitenaltar die Reliquien des Ortsheiligen Pastor enthält, der dem ersten Jahrhundert zugeordnet wird.

Im Jahre 1809 wurden die Dominikaner enteignet, San Pastore ging allem Anschein nach an den napoleonischen General Radet, später an Marchese Guiseppe Origo und schließlich an einen Kaufmann von Frascati namens Ferri, von dem P. August Delacroix SJ, der damalige Rektor des Germanicum et Hungaricum, die ganze Liegenschaft am 27. September 1845 kaufte.

Es folgten verschiedene Baumaßnahmen: Zunächst wurde das Refektor gebaut. (in ihm befinden sich heute zwei Werke des zeitgenössischen Künstlers Sieger Köder: eine Mariendarstellung und das bekannte “Mahl der Sünder”.) Es folgte der Mitteltrakt, der später um ein Stockwerk und einen Turm erweitert wurde. 1928 wurde der vierstöckige Neubau eingeweiht , der 2019 abgerissen und durch einen Neubau für Exerzitien, Tagungen und Ferien, die Casa Manresa, ersetzt wurde.

Zwischen 1939 und 1945 erlitt die Villa San Pastore verschiedene Kriegsschäden, beherbergte Soldaten und möglicherweise auch Flüchtlinge und ein Lazarett.
Nach dem zweiten Weltkrieg wurde San Pastore von den Studenten hauptsächlich während der Sommermonate bewohnt, da man seine Ferien während des – damals – siebenjährigen Studiums nur zweimal in der Heimat verbringen durfte. Zur Bewirtschaftung der Ländereien kamen damals zwei Halbpächterfamilien nach San Pastore.

Heute wird die Landwirtschaft in Eigenregie verwaltet und die Villa wird von den Studenten des Kollegs auch während des Studienjahres zur Erholung, für Exerzitien und verschiedene andere Veranstaltungen genutzt.