In de jaren 1864–1865 verwierf Camille de Behaut, een welgestelde inwoner van Bergen, een uitgestrekt perceel grond in Jurbise met het oog op de bouw van een prestigieus herenhuis. Hij liet er een residentie optrekken in neoclassicistische stijl, die aansloot bij de architecturale smaak van de gegoede burgerij in de tweede helft van de negentiende eeuw. Het gebouw werd opgevat als een statige maar evenwichtige woning, waarin comfort, symmetrie en representativiteit centraal stonden.
Na het overlijden van Camille de Behaut in 1881 ging het eigendom over in andere handen. Het werd verworven door graaf Albéric d’Auxy de Launois, een man met uitgesproken intellectuele interesses. Als historicus en letterkundige gaf hij het huis een culturele uitstraling, passend bij zijn persoonlijke en academische bezigheden. Hij verbleef er tot 1894, waarna hij besloot het domein te verkopen.
De nieuwe eigenaars waren Léon Abrassart de Bulloy en zijn echtgenote Louise Du Vivier. Onder hun bewind onderging het gebouw een ingrijpende transformatie. Abrassart de Bulloy liet het oorspronkelijke herenhuis uitbreiden en verfraaien, waardoor het de allure van een kasteel kreeg. Een klokkentoren en twee wachttorens werden toegevoegd, wat het geheel een meer monumentaal en bijna feodaal karakter verleende. Ook de bijgebouwen kregen een nieuwe functie: de boerderij werd omgevormd tot een oranjerie, terwijl een kleiner gebouw werd ingericht als conciërgewoning. Zo groeide het domein uit tot een samenhangend geheel waarin wonen, representatie en landschap op elkaar werden afgestemd.
Na de Eerste Wereldoorlog kwam het kasteel, via de nalatenschap van Louise Du Vivier, weduwe van Léon Abrassart de Bulloy, in handen van de familie Hambye uit Bergen. De nieuwe eigenaars lieten het gebouw grondig opknappen en gebruikten het voortaan als zomerresidentie. Hun hoofdverblijf bleef in Bergen, maar het domein in Jurbise bood rust en ruimte, ver weg van het stedelijke leven.
Een nieuwe fase brak aan in 1973, toen de gemeente Jurbise het kasteel van Moustier aankocht. De verkopers waren Jacques Hambye, advocaat en senator, en zijn zuster Anne-Marie, die het domein van hun ouders hadden geërfd. De aankoop omvatte niet alleen het kasteel zelf, maar ook de bijgebouwen en een uitgestrekt terrein van ongeveer zes hectare.
Sinds 1977 vervult het kasteel een publieke functie als gemeentehuis van Jurbise. De omliggende gronden en voormalige bijgebouwen werden aangepast en heringericht om plaats te bieden aan culturele, sociale en sportieve activiteiten. Daarmee kreeg het domein een nieuwe bestemming, waarbij het historische karakter behouden bleef en tegelijk werd geïntegreerd in het dagelijkse leven van de gemeenschap. Het kasteel van Moustier vormt zo een brug tussen het adellijke verleden en het hedendaagse openbare bestuur.