Gedurende bijna vier eeuwen was het dorp Baillonville, samen met zijn kasteel, nauw verweven met de geschiedenis van de adellijke familie de Waha. Het kasteel was gelegen in het gehucht Rabozée en kende een uitzonderlijk bouwverleden: het werd in de loop der eeuwen niet minder dan driemaal op een verschillende locatie heropgericht. Deze opeenvolgende verplaatsingen weerspiegelen zowel de veranderende noden van de bewoners als de politieke en maatschappelijke omwentelingen van hun tijd.
Jacquemin de Waha, die leefde van 1371 tot 1411, wordt algemeen beschouwd als de stichter van het eerste kasteel. Dit vroege gebouw vormde het centrum van de heerlijkheid en bevestigde de positie van de familie de Waha in de regio. Ook zijn nakomelingen bleven het domein beheren en uitbreiden. Zij lieten een tweede kasteel oprichten, dat het oorspronkelijke verving en lange tijd het hart van de heerlijkheid bleef. Dit tweede gebouw verdween echter tussen 1794 en 1804, in een periode die werd gekenmerkt door de ontwrichtingen van de Franse Revolutie en de daarmee gepaard gaande afbraak van talrijke adellijke residenties.
Aan het begin van de negentiende eeuw werd op het domein een derde kasteel gebouwd. Ditmaal koos men voor een architectuur in empirestijl, die aansloot bij de toen heersende smaak en het streven naar statige eenvoud en symmetrie. De bouw werd gerealiseerd door de familie Massange, die het domein verwierf en het kasteel gedurende meer dan anderhalve eeuw in bezit hield. Onder hun beheer bleef het kasteel een belangrijk element in het lokale landschap en het sociale leven van Baillonville.
In 1958 kwam een einde aan deze lange familiegeschiedenis, toen de laatste erfgename van de familie Massange het eigendom schonk aan de vzw Don Bosco’s Orphan Fund in Woluwé. Deze schenking getuigde van een uitgesproken sociale bewogenheid en gaf het domein tijdelijk een nieuwe, liefdadige bestemming. Reeds enkele jaren later, op 9 juni 1967, werd het kasteel echter verkocht aan de heer Swaelens. Hij liet het gebouw herbestemmen door het op te splitsen in dertien appartementen, een ingreep die het voortbestaan van het kasteel verzekerde, zij het in een aangepaste vorm.
Ondanks deze functionele aanpassingen bleef de historische en architecturale waarde van het kasteel behouden. Vandaag vormt het kasteel van Baillonville, samen met de nabijgelegen Sint-Hubertuskerk, een beschermd erfgoedensemble. Het geheel fungeert als tastbare herinnering aan de lange en gelaagde geschiedenis van het dorp en aan de generaties bewoners die er door de eeuwen heen hun stempel op hebben gedrukt.