Het Château Després vindt zijn oorsprong in de achttiende eeuw, toen het werd gebouwd door de adellijke familie de Bagenrieux. In de loop van de negentiende eeuw kende het domein een belangrijke uitbreiding: omstreeks 1860 liet Auguste de Bagenrieux, ingenieur bij de Belgische spoorwegen, het zuidelijke gedeelte van het kasteel optrekken. Deze bouwfase gaf het geheel meer allure, maar financiële tegenslagen dwongen de familie uiteindelijk om het eigendom van de hand te doen. Het kasteel werd verkocht aan Madame Dumortier, die er zich met haar kinderen vestigde.
Een nieuwe en bepalende episode begon in 1911, toen Louis Després-Vandevelde het kasteel verwierf. Hij ondernam ingrijpende verfraaiingswerken die het uitzicht van het domein blijvend zouden bepalen. Onder zijn impuls werden twee torens toegevoegd, evenals een conciërgewoning en de bijgebouwen die vandaag nog steeds deel uitmaken van het geheel. Dankzij deze ingrepen kreeg het Château Després zijn karakteristieke en herkenbare silhouet.
Na het overlijden van Louis Després-Vandevelde in november 1937 bleef het kasteel bewoond door zijn weduwe en hun enige zoon, Roch. Na het overlijden van zijn moeder in juli 1956 bleef Roch Després alleen in het kasteel wonen tot aan zijn dood op 2 april 1973. Bij testament liet hij een deel van zijn bezittingen na aan zijn echtgenote, Nelly Moreau, waarmee een familielijn werd afgesloten die gedurende meer dan zestig jaar nauw verbonden was met de geschiedenis van het Château Després.