Het kasteel ontleent zijn naam aan de familie Hamelinck, die tegen het einde van de 17de eeuw eigenaar werd van het domein. Deze familie behoorde tot de lokale adel en gebruikte het goed als residentieel buitenverblijf. In de 18de eeuw werd het landgoed bewoond door François-Joseph Hamelinck, waarna in de 19de eeuw achtereenvolgens Bernard en later Ferdinand Hamelinck het beheer overnamen. In deze periode functioneerde het kasteel als een klassiek landhuis, typerend voor de adellijke wooncultuur van het ancien régime en de daaropvolgende eeuw, waarbij het landelijke domein zowel prestige als rust bood.
Omstreeks 1874 kwam het kasteel in handen van de familie Delebecque. Onder hun eigenaarschap onderging het domein een belangrijke transformatie. De bestaande bebouwing voldeed niet langer aan de esthetische en representatieve verwachtingen van de late 19de eeuw, waardoor werd besloten tot een ingrijpende vernieuwing. In 1892 gaf Alfred Delebecque opdracht tot de bouw van een volledig nieuw kasteel in neogotische stijl, een architectuurstroming die in die periode bijzonder populair was bij de hogere burgerij en adel. Het nieuwe gebouw werd opgevat als een romantisch historiserend geheel, met spitse torentjes, rijk uitgewerkte schoorstenen, hoge vensters met spitsbogen en overvloedige gevelornamentiek. Deze architecturale elementen moesten niet alleen verwijzen naar een geïdealiseerd middeleeuws verleden, maar ook de maatschappelijke status en ambities van de familie onderstrepen.
Door het huwelijk van Louise Delebecque met ridder Jean-Baptist de Ghellinck-d’Elseghem bleef het kasteel binnen de familie en kwam het domein in handen van de adellijke familie Ghellinck-d’Elseghem. Zij gebruikten het kasteel als residentie tot het begin van de 20ste eeuw en zorgden voor het onderhoud en de verdere aankleding van het interieur en het park.
In 1911 werd het kasteel getroffen door een zware brand, die grote delen van het gebouw verwoestte. De bewoners en het personeel konden zich slechts met moeite in veiligheid brengen. Ondanks de omvangrijke schade werd vrijwel onmiddellijk besloten tot heropbouw. In 1914 was het kasteel opnieuw opgetrokken, grotendeels volgens het oorspronkelijke neogotische ontwerp, waarbij men ernaar streefde het karakter en de monumentale uitstraling van het gebouw zoveel mogelijk te behouden.
In 1933 verliet de familie Ghellinck-d’Elseghem het kasteel, waarna het domein leeg kwam te staan. Drie jaar later, in 1936, werd het pand aangekocht door de Mariazusters van Franciscus uit Waasmunster. Zij gaven het kasteel een volledig nieuwe bestemming door het om te vormen tot het open psychiatrisch ziekenhuis Sint-Camillus. Deze herbestemming bracht functionele aanpassingen met zich mee, maar liet de hoofdstructuur van het gebouw grotendeels intact.
Tijdens de Tweede Wereldoorlog werd het kasteel door het Duitse leger opgeëist. De zusters en patiënten werden gedwongen het domein tijdelijk te verlaten. Het gebouw liep in deze periode aanzienlijke schade op. Pas na het einde van de oorlog konden de patiënten terugkeren, nadat herstellingswerken waren uitgevoerd en het kasteel opnieuw geschikt was gemaakt voor zijn zorgfunctie. Zo begon een nieuwe, maatschappelijke fase in de lange en bewogen geschiedenis van het domein, waarin het kasteel zijn rol als adellijke residentie definitief inruilde voor een sociaal-medische bestemming.