De oorsprong van het kasteeldomein in Bellem situeert zich in het midden van de 16de eeuw, toen de heerlijkheid Bellem eigendom was van de Gentse familie Rijm. Dit geslacht behoorde tot de stedelijke elite en bezat aanzienlijke gronden in het Meetjesland. Met het overlijden van Maria-Anna Rijm, de enige dochter, erfgename en laatste naamdraagster van de familie, kwam de heerlijkheid door huwelijk in handen van haar echtgenoot Lodewijk-Frans, prins de Montmorency. Daarmee werd Bellem opgenomen in het uitgebreide netwerk van bezittingen van een van de meest invloedrijke adellijke families van de Zuidelijke Nederlanden.
De familie de Montmorency bleef eigenaar van het domein tot het begin van de 19de eeuw. Tegen het einde van het ancien régime was het kasteel echter in vervallen staat geraakt. In 1808 besloot prinses Louisa de Montmorency het verwaarloosde domein van de hand te doen. De nieuwe eigenaar werd Jacob Lieven van Caneghem, een vermogend Gentse textielindustrieel die een belangrijke rol speelde in de vroege industrialisering van de regio en bekend stond als een van de pioniers van de mechanische katoenspinnerij in Vlaanderen.
Van Caneghem liet het bestaande kasteel volledig afbreken en gaf opdracht tot de bouw van een nieuw landhuis dat beantwoordde aan de toenmalige esthetische en representatieve eisen. Het ontwerp werd toevertrouwd aan architect Bruno Renard, die het gebouw vormgaf in een sobere en evenwichtige neoclassicistische stijl. Het nieuwe kasteel straalde rust, symmetrie en monumentaliteit uit en weerspiegelde zowel de economische macht als de culturele ambities van zijn opdrachtgever. Tegelijkertijd werd het omliggende domein heraangelegd als een Engels landschapspark, naar ontwerp van de Leuvense tuinarchitect Egidius Rosseels. Slingerende paden, open grasvelden, waterpartijen en zorgvuldig geplaatste boomgroepen gaven het park een natuurlijk ogend, maar zorgvuldig gecomponeerd karakter.
In de daaropvolgende eeuw bleef het kasteel in adellijke handen. Het domein fungeerde hoofdzakelijk als residentie en buitenverblijf, waarbij de oorspronkelijke neoclassicistische structuur grotendeels behouden bleef. De laatste particuliere bewoner was graaf de Kerchove d’Exaerde, lid van een invloedrijke Oost-Vlaamse adellijke familie met een lange staat van dienst in het politieke en maatschappelijke leven. Hij verbleef in het kasteel tot 1963.
Na zijn vertrek werd het domein verkocht aan de vzw Federatie van de zustercongregaties van het bisdom Gent. Onder hun beheer kreeg het kasteel een nieuwe invulling als religieus vormings-, studie- en bezinningscentrum, dat de naam Mariahove kreeg. Deze functie bracht aanpassingen met zich mee, maar gebeurde met respect voor het bestaande gebouw en zijn omgeving.
In 2017 kwam een einde aan deze religieuze bestemming, toen de laatste twee zusters het domein verlieten. In datzelfde jaar keerde het kasteel opnieuw terug naar een erfgenaam van de familie de Kerchove d’Exaerde, waarmee een historische cirkel gedeeltelijk werd gesloten. Sinds 1996 zijn zowel het kasteel als het omliggende park beschermd als monument en landschap. Deze bescherming waarborgt het behoud van het architecturale, historische en landschappelijke karakter van het domein, dat tot op vandaag een waardevol getuigenis vormt van de gelaagde geschiedenis van Bellem en zijn omgeving.