Počeci mjesta u antici svjedoče o ostacima građevina iz ranog carskog razdoblja, koji se kombiniraju s tragovima kasnijeg naseljavanja u srednjem vijeku i u ranom modernom razdoblju. Međutim, izvori su siromašni do ranog srednjeg vijeka. Poznato je samo da je 1115. godine nekretnina pripadala kao samostan benediktinskoj opatiji Subiaco, a u 12. stoljeću bila je u vlasništvu plemića Colonne. Nakon toga nema pouzdanih izvora do 1599. godine. Današnja stara građevina morala je biti izgrađena u 16. stoljeću.

Od 1599. godine prijavljuje se prodaja vile od strane obitelji Sordi De Vadisu, ali su ubrzo upali u velike dugove, tako da su 1644. prodali San Pastore dominikanskom samostanu San Sisto, odakle je 20 godina kasnije palazzo prvi put došao u posjed dominikanskog generala i na kraju u ruke generala Kurije dominikanaca. Za to vrijeme zasađene su masline i izgrađena je uljara.

U sadašnjem obliku vilu karakterizira kasnobarokno glavno stubište iza kojeg stoje prostorije za predstavljanje, ali prije svega crkva sagrađena oko 1759. godine. To je oblik središnje zgrade s četiri križne ruke, koje počinju od područja kupole. Štukatura ukras sadrži različite reference na Dominikanski red, kao i glavni oltar i desni bočni oltar, dok se na lijevom bočnom oltaru nalaze relikvije lokalnog svetog župnika, koji je dodijeljen prvom stoljeću.

Godine 1809. dominikanci su bili izvlašteni, San Pastore je očito otišao napoleonskom generalu Radetu, kasnije u Marchese Guiseppe Origo i na kraju trgovcu Frascatija po imenu Ferri, od kojeg je fra August Delacroix SJ, tadašnji rektor Germanicuma, kupio cijelu nekretninu 27. rujna 1845. godine.

Uslijedile su različite građevinski pothvati: Prvo je izgrađena blagovaonica. (danas sadrži dva djela suvremenog umjetnika Siegera Ködera: prikaz Marije i poznati “Obrok grešnika”.) Nakon toga slijedilo je središnje krilo, koje je kasnije prošireno podom i tornjem. Godine 1928. otvorena je četverokatna nova zgrada, koja je srušena 2019. godine i zamijenjena novom zgradom za duhovne vježbe, konferencije i praznike, tzv. Casa Manresa.

Između 1939. i 1945. godine Villa San Pastore pretrpjela je razne ratne štete, smještaj vojnika, a možda i izbjeglica i vojne bolnice.

Nakon Drugog svjetskog rata, San Pastore su germaničari nastanjivali uglavnom tijekom ljetnih mjeseci, jer im je bilo dopušteno provesti odmor samo dva puta u svojoj domovini tijekom – u to vrijeme – sedam godina studija. U to su vrijeme dvije poluzakupske obitelji došle u San Pastore obrađivati zemlju.

Danas se poljoprivredom upravlja samostalno, a vilom koriste i studenti Kolegija tijekom akademske godine za rekreaciju, duhovne vježbe i razne druge događaje.