In 1698 duikt voor het eerst een schriftelijke vermelding op van een kasteeltje op deze locatie. Het wordt in de bronnen omschreven als een “speelgoed met motte en neerhof”, een term die verwijst naar een bescheiden adellijk buitenverblijf met een versterkte kern en bijhorende dienstgebouwen. Het kasteeltje was gelegen binnen een uitgestrekt domein met bos, park en vijver en vormde een representatieve residentie in een overwegend landelijk landschap. In deze periode was het goed eigendom van de familie Van den Hecke-Van Vaernewijck, een vooraanstaande adellijke familie met uitgebreide bezittingen in de regio.
Aan het begin van de 18de eeuw kwam het domein in handen van de heren van Drongen. Zij gebruikten het kasteel voornamelijk als buitenverblijf, wat typerend was voor de adel en hogere burgerij die zich tijdens de zomermaanden terugtrok op het platteland. Het kasteeltje behield in deze periode zijn residentiële functie, terwijl het omliggende domein verder werd ingericht als park- en bosgebied, in overeenstemming met de toenmalige landschappelijke smaak.
In 1786 werd het domein, samen met de heerlijkheid van Drongen, verkocht aan graaf Jean-Baptiste d’Hane Steenhuyse. Deze telg uit een invloedrijke Gentse adellijke familie verwierf hiermee een aanzienlijk grondbezit. Het kasteeltje maakte voortaan deel uit van een ruimer patrimonium en behield zijn rol als buitenverblijf, zonder dat ingrijpende bouwkundige veranderingen uit deze periode bekend zijn.
In de loop van de 19de eeuw kwam het kasteel in handen van Jean-Baptiste Van Crombrugghe, die tweemaal burgemeester van Gent was, van 1826 tot 1836 en opnieuw van 1840 tot 1842. Van Crombrugghe was een invloedrijk politicus en bestuurder en hechtte groot belang aan de uitstraling van zijn residenties. Tussen 1845 en 1847 liet hij het bestaande bakstenen kasteeltje grondig verbouwen in een sobere en evenwichtige classicistische stijl. Deze verbouwing werd toevertrouwd aan de Gentse architect Jacques Minard, die bekend stond om zijn heldere vormentaal en zijn bijdragen aan het 19de-eeuwse stadsbeeld van Gent.
Naast de architecturale aanpassingen besteedde Van Crombrugghe ook veel aandacht aan de aanleg en verfraaiing van het domein. Hij had een uitgesproken belangstelling voor botanica en exotische planten en liet een oranjerie oprichten, waarin zijn collectie oranjebomen en andere kuipplanten tijdens de wintermaanden werd ondergebracht. De aanwezigheid van deze oranjerie gaf het domein een uitgesproken representatief karakter en sloot aan bij de traditie van adellijke en burgerlijke tuincultuur uit die periode.
De familie Van Crombrugghe speelde in de 19de eeuw een vooraanstaande rol in het politieke en maatschappelijke leven van België. Vanuit hun residentie leverden zij gedurende lange tijd de burgemeesters van Sint-Martens-Leerne, wat het belang van het domein als lokaal machtscentrum onderstreepte.
In het begin van de 20ste eeuw werd de voortuin van het kasteel opnieuw aangelegd volgens de toen geldende tuinarchitecturale principes. Daarbij werd gekozen voor een formele aanleg met centraal gelegen grasparterres, waarlangs de planten uit de oranjerie een prominente plaats kregen tijdens de zomermaanden. Deze herinrichting versterkte het statige en harmonieuze karakter van de kasteelsite.
Tot op vandaag is het kasteel in handen van de familie Van Crombrugghe. Het domein bleef steeds privébezit en is niet toegankelijk voor het publiek. Hierdoor bleef het historische karakter van het kasteel en het omliggende landschap grotendeels bewaard, al onttrekt het zich aan het openbare bezoek.