Het huidige kasteeldomein van Sint-Jozef kent zijn oorsprong in de tweede helft van de 19de eeuw. Op een licht hellend terrein liet jonkheer Eugène Joos de ter Beerst in 1873 een zomerresidentie optrekken, samen met zijn echtgenote Camilla de Mûelenaere. De bouwwerken werden in 1875 voltooid en datzelfde jaar werd het kasteel voor het eerst betrokken. Gelijktijdig werd een landschappelijk park aangelegd met een koetshuis, hovenierswoning en de nodige dienstgebouwen. Voor de realisatie van het domein moest een bestaande hoeve op deze locatie worden afgebroken.
Met de bouw van het kasteel bekrachtigde het echtpaar zijn band met Pittem, het geboortedorp van Camilla de Mûelenaere. Zij was een dochter van Jan de Mûelenaere, oud-burgemeester van Pittem en een vooraanstaand politicus, die onder meer minister van Binnenlandse Zaken en eerste minister van België was. Hoewel Eugène Joos de ter Beerst en zijn echtgenote het grootste deel van het jaar in hun woning te Elsene verbleven, groeide het kasteel uit tot hun vaste zomerverblijf. Eugène Joos de ter Beerst stamde uit een oude Brugse familie die in de 19de eeuw in de Belgische adelstand werd verheven.
De familie Joos de ter Beerst bleef eigenaar van het domein tot 1942. Reeds in 1937 had zij het kasteel verlaten. Tijdens de Tweede Wereldoorlog werd het gebouw door de Duitse bezetter gevorderd en ingericht als rustverblijf voor officieren. Gedurende deze bezetting liepen zowel het kasteel als het omliggende park aanzienlijke schade op.
In 1942 werd het domein aangekocht door de Zusters van Maria van Pittem. De aankoop gebeurde in overleg met dr. José Van Laere, psychiater uit Kortrijk, die de mogelijkheden zag om het voormalige kasteel om te vormen tot een gespecialiseerde psychiatrische instelling. Onder zijn medische leiding werd er de Neurologische Kliniek Sint-Jozef opgericht, waarmee een nieuwe fase in de geschiedenis van het domein aanving.
De snelle ontwikkeling van de kliniek maakte al spoedig uitbreidingen noodzakelijk. In 1949-1950 werden naar ontwerp van architect Nolf uit Torhout aan weerszijden van het oorspronkelijke kasteel enkele bijkomende traveeën gerealiseerd. Tegelijkertijd werd de kapel vergroot en architecturaal verfraaid om beter aan de noden van de instelling te beantwoorden.
Een tweede belangrijke uitbreidingscampagne volgde in 1955, opnieuw naar plannen van architect Nolf. Toen werden twee haaks op het bestaande gebouw aansluitende vleugels opgetrokken, waardoor het voormalige kasteel evolueerde naar een langgerekte U-vormige plattegrond. Deze uitbreidingen vormden de basis voor de verdere uitbouw van de psychiatrische instelling.
Ook in de daaropvolgende decennia bleef het domein zich ontwikkelen. In de jaren 1990 werden verschillende bijkomende gebouwen en uitbreidingen gerealiseerd om de groeiende zorgactiviteiten te ondersteunen. In 2003-2004 onderging het oorspronkelijke kasteel een grondige restauratie en renovatie, waarbij het historische karakter zoveel mogelijk werd behouden en tegelijkertijd werd aangepast aan de hedendaagse functionele en technische vereisten. Vanaf 2010 werden opnieuw verschillende nieuwbouw- en uitbreidingsprojecten uitgevoerd, waardoor de campus haar huidige omvang kreeg.
Vandaag vormt het voormalige kasteel nog steeds het historische hart van het Centrum voor psychiatrie en psychotherapie Sint-Jozef Pittem vzw. Wat begon als een adellijke zomerresidentie groeide in de loop van de twintigste eeuw uit tot een toonaangevend psychiatrisch centrum, dat al decennialang een belangrijke rol vervult binnen de geestelijke gezondheidszorg in West-Vlaanderen en ver daarbuiten.