Op een heuvelrug in de schilderachtige vallei van de Samson werd in 1865 het kasteel van Goyet opgericht. Het bouwproject kwam tot stand op initiatief van Marie-Louise-Virginie van Goyet en haar echtgenoot Jules Philippe Joseph van Francquen. Voor het ontwerp deden zij een beroep op de Hoeise architect Vierset-Godin, die het kasteel vormgaf als een statige 19de-eeuwse residentie, harmonieus ingebed in het omliggende landschap.
Jules van Francquen speelde een belangrijke rol in het lokale bestuur. Vanaf 1867 was hij burgemeester van Mozet, een gemeente waartoe ook het gehucht Goyet behoorde. Hij bleef dit ambt uitoefenen tot aan zijn overlijden in 1883. Zijn overlijden betekende tevens het einde van de band tussen de familie van Francquen en het kasteel. Kort daarna werd het domein verkocht aan de familie Diesbach Belleroche, een adellijk geslacht met wortels in Zwitserland, dat het kasteel enkele decennia in bezit hield. In een latere fase kwam het eigendom over in handen van de familie Meurisse.
In de loop van de twintigste eeuw kende het kasteel wisselende periodes van bewoning en leegstand, tot in 1984 een nieuw hoofdstuk werd ingeluid. Dat jaar verwierf de familie Siccard het domein en zette zij een omvangrijke restauratiecampagne in gang. Met grote zorg werden de benedenverdieping en de dakstructuren volledig hersteld, met respect voor de oorspronkelijke architectuur en materialen. Dankzij deze ingrepen herwon het kasteel zijn karakteristieke uitstraling en architecturale samenhang.
In 2020 kwam het kasteel van Goyet in handen van de West-Vlaamse ondernemer Maarten Mattelin, oprichter van het cateringbedrijf Ma Kwizien. Onder zijn impuls kreeg het gebouw een hedendaagse herbestemming, waarbij comfort en erfgoed hand in hand gaan. Het gerenoveerde kasteel stelt zich sindsdien open voor verblijven en uiteenlopende evenementen, en vormt zo opnieuw een levendige plek in het landschap van de Samsonvallei.