Het oorspronkelijke feodale slot Ter Beken wordt in de vroeg zestiende eeuw vermeld als bezit van Gillis van der Beken, heer van Drongen, die in 1516 als eigenaar wordt genoemd. Het domein maakte deel uit van het lokale heerlijkheidslandschap en vervulde aanvankelijk een residentiële en bestuurlijke functie binnen het feodale stelsel. In de daaropvolgende eeuwen wisselde het goed meermaals van eigenaar, wat wijst op de dynamiek van het adellijke grondbezit in de regio en op de geleidelijke transformatie van het domein van een verdedigbare residentie naar een meer representatief wooncomplex.
In 1748 kwam Ter Beken in handen van graaf Karel-Willem van Alegambe, markies van Auweghem. Onder zijn impuls werd het oudere “Goet ter Beke”, dat nog kenmerken vertoonde van een omwalde burcht, afgebroken. In de plaats daarvan liet hij het huidige kasteel oprichten, dat resoluut brak met het middeleeuwse verdedigingskarakter en werd opgevat als een groot en luxueus landhuis in de geest van de achttiende eeuw. De architectuur weerspiegelt de toenmalige voorkeur voor comfort, symmetrie en verfijning, waarbij representatie en landschappelijke inpassing primeerden. Na het overlijden van graaf van Alegambe hertrouwde zijn weduwe met de markies de Villalta. In deze periode werd het kasteel verhuurd aan prins Louis Ernest de Montmorency, wat het blijvende statuut van het domein als aristocratische residentie onderstreept.
Aan het begin van de twintigste eeuw werd het kasteel aangekocht door de Gentse industrieel en katholiek politicus Amand Casier. Hij liet het gebouw grondig restaureren en aanpassen aan de woon- en comforteisen van zijn tijd, met respect voor het achttiende-eeuwse karakter van het kasteel. Baron Amand Casier de ter Beken bewoonde het domein tot 1940. Zowel tijdens de Eerste als de Tweede Wereldoorlog liep het kasteel aanzienlijke schade op ten gevolge van de inkwartiering en bezetting door Duitse troepen, wat opnieuw ingrijpende herstellingen noodzakelijk maakte.
In 1948 werd het domein verworven door het bisdom Gent, dat het een religieuze en educatieve bestemming gaf. In dat kader werd een seminariegebouw toegevoegd, ontworpen door architect Valentin Vaerwyck. Dit gebouw onderscheidt zich door een sobere en robuuste architectuur die bewust contrasteert met de elegantie van het achttiende-eeuwse rococokasteel. Kenmerkend voor Vaerwycks stijl zijn onder meer de markante dakkapellen, het gebruik van bleekgele bak- en zandsteen en de arduinen deuromlijstingen. Tot het begin van de jaren negentig van de twintigste eeuw bood het complex onderdak aan het Sint-Paulusseminarie.
In 2019 werd het kasteel aangekocht door LUCA School of Arts. Daarmee bleef de educatieve functie van het domein behouden en werd Ter Beken geïntegreerd in het bredere onderwijsnetwerk waartoe ook de Gentse Sint-Lucaskunsthogeschool behoort. Reeds sinds 1994 zijn het achttiende-eeuwse kasteel, het park, de walgrachten en de bijgebouwen beschermd als monument, wat de historische, architecturale en landschappelijke waarde van het domein officieel erkent en waarborgt voor de toekomst.