De geschiedenis van het Hof ter Saksen gaat terug tot de vroege middeleeuwen. Reeds in deze periode bevond zich op de site een pachtgoed dat vermoedelijk een dubbele functie vervulde. Enerzijds diende het als landbouwbedrijf, anderzijds fungeerde het, dankzij zijn ligging langs de belangrijke verbindingsweg tussen Antwerpen en Gent, als herberg en rustplaats voor reizigers en handelaars. Deze strategische positie langs een drukke verkeersas gaf het domein al vroeg een zekere betekenis binnen het regionale netwerk van wegen en nederzettingen.
De oudst bekende eigenaar is jonkvrouw Margareta Noethaeckx, die in 1365 in de bronnen wordt vermeld. Zij was de dochter van ridder Diederik Noethaeckx, grafelijk raadsheer en meier van Destelbergen, en behoorde tot de lagere adel die nauw verbonden was met het grafelijk bestuur. In de daaropvolgende eeuwen kwam het leengoed in handen van de familie Vijd, een invloedrijk patricisch geslacht uit Gent. Deze familie verwierf blijvende bekendheid als opdrachtgevers van het wereldberoemde Lam Gods-retabel van de gebroeders Van Eyck, voltooid in 1432, en als bouwheren van het kasteel Cortewalle. Hun bezit van het Hof ter Saksen past binnen het patroon waarbij stedelijke elites buitenverblijven verwierven in het omliggende platteland.
Een beslissende omwenteling in de geschiedenis van het domein vond plaats in 1781, toen Jan-Baptist Versmessen, hoofdschepen van het Land van Waas, het goed aankocht. Versmessen liet de bestaande, verouderde bebouwing volledig slopen en vervangen door een nieuw huis van plaisance, opgevat naar Italiaans model. Dit type buitenverblijf was in de late 18de eeuw bijzonder geliefd bij bestuurlijke en adellijke elites en combineerde residentieel comfort met esthetische verfijning. Het nieuwe gebouw werd omringd door vijvers en geometrisch aangelegde tuinen, die de rationele en symmetrische tuinopvattingen van de Verlichting weerspiegelden. In deze periode kreeg het landgoed in grote lijnen zijn huidige aanleg, die tot op vandaag herkenbaar is in het landschap.
Rond 1920 kwam het Hof ter Saksen in handen van de industrieel Edmond Meert. Hoewel hij het domein slechts gedurende een relatief korte periode bewoonde, liet hij belangrijke wijzigingen aanbrengen. De bijhorende hoeve werd omgevormd tot een aanzienlijk landhuis, aangepast aan de wooncomforteisen van het begin van de 20ste eeuw. Na het overlijden van Meert in 1961 raakte het kasteel echter in verval. Door jarenlang gebrek aan onderhoud en een gebrek aan een duidelijke herbestemming degradeerde het gebouw geleidelijk tot een bouwvallige ruïne.
Na een langdurige en complexe aankoopprocedure verwierf de gemeente Beveren het domein op 11 juni 1982. Sindsdien werden het park en de omliggende gronden heringericht als gemeentelijk park en arboretum, met aandacht voor landschappelijke kwaliteit en publieke toegankelijkheid. Tevens vond de gemeentelijke groendienst er een uitvalsbasis, waardoor het domein een praktische functie kreeg binnen het gemeentelijk beheer.
Vandaag staat het Hof ter Saksen opnieuw op een scharniermoment in zijn lange geschiedenis. De gemeente Beveren onderzoekt, in samenwerking met private partners, mogelijke toekomstige bestemmingen voor het kasteel. Daarbij wordt gezocht naar een evenwicht tussen publieke toegankelijkheid, respect voor het erfgoed en een haalbare private invulling, zodat deze historische site opnieuw een duurzame en betekenisvolle rol kan spelen binnen haar omgeving.