Voorafgaand aan de oprichting van het huidige kasteel van Leeuwergem bevond zich op dezelfde locatie een oudere versterkte residentie die dateerde uit de eerste helft van de vijftiende eeuw. Dit vroegere kasteel werd aan het begin van de zeventiende eeuw herbouwd, vermoedelijk in overeenstemming met gewijzigde woon- en comforteisen, en werd in de loop van de achttiende eeuw definitief vervangen door het huidige gebouw, dat een volledig nieuw architecturaal concept belichaamde.
Het omwalde kasteel van Leeuwergem geldt als een van de meest opmerkelijke en authentiek bewaarde rococorealisaties in België. Het complex is opgevat als een harmonieuze en gesloten vierhoek, waarvan het hoofdgebouw aan weerszijden wordt geflankeerd door elegante bijgebouwen in dezelfde stilistische vormentaal. Samen met het neerhof werd het kasteel in 1724 opgetrokken naar ontwerp van de Gentse architect en aannemer Jean-Baptiste Simoens, in opdracht van graaf Pierre Emmanuel d’Haene. De architectuur wordt zowel in het exterieur als in het interieur gekenmerkt door een verfijnde toepassing van de Lodewijk XV-stijl, met een nadruk op elegante proporties, asymmetrische decoratieve motieven en een subtiel spel van licht en ruimte.
Het omliggende park en de tuinen vormen een essentieel onderdeel van het ensemble en weerspiegelen de veranderende opvattingen inzake landschapsarchitectuur. De aanleg vertoont duidelijke invloeden van de formele Franse tuintraditie, die wordt geassocieerd met ontwerpprincipes van André Le Nôtre, maar bevat tevens elementen die vooruitwijzen naar de meer landschappelijke en romantische parkaanleg van de negentiende eeuw. Deze gelaagde tuinstructuur illustreert de overgang van de klassieke, geometrisch geordende tuin naar een meer natuurlijke en pittoreske benadering van het landschap.
Een bijzonder en in België uniek element binnen het domein is het lovertheater, een openluchttheater dat volledig is aangelegd in haagbeuk en plaats biedt aan ongeveer achthonderd toeschouwers. Dit groene theater vormt een zeldzaam en waardevol voorbeeld van de integratie van architecturale en horticulturele elementen binnen de achttiende-eeuwse tuincultuur en onderstreept het representatieve en recreatieve karakter van het domein.
Het kasteel van Leeuwergem is in uitzonderlijk gave staat bewaard gebleven en wordt heden bewoond door baron Baudouin della Faille d’Huysse en barones Pauline de Villenfagne de Vogelsanck. Het domein maakt deel uit van het nationaal erfgoed en vormt een tastbare getuige van de leefcultuur, esthetische voorkeuren en maatschappelijke status van de achttiende-eeuwse adel in de Zuidelijke Nederlanden.