Oorspronkelijk stond er op deze plaats een oude waterburcht van de graven van Duras dat werd gebouwd in 1102. Het huidige kasteel van Duras, gebouwd tussen 1787 en 1789 in een prachtig domein, is een typisch voorbeeld van de classicistische stijl.
De opdracht voor de bouw werd gegeven door het geslacht van de Noot, waartoe onder andere Hendrik van der Noot behoorde, één van de voornaamste Brabantse grootgrondbezitters. In deze tijd van de Franse Revolutie was het optrekken van een dergelijk duur en opvallend gebouw een gewaagde onderneming. De uit Dinant afkomstige architect G. Henry, dezelfde die het kasteel van Laken renoveerde, ontwierp de voorgevel en de bijgebouwen in Toscaanse stijl.
In 1902 werd het kasteel vrijwel volledig verwoest door een brand, maar het werd onmiddellijk heropgebouwd. Tijdens de Tweede Wereldoorlog werd het kasteel uitzonderlijk niet door de Duitse troepenmacht in beslag genomen. Aan het einde van de oorlog, in het jaar 1945, werd het kasteel met opzet door een Duitse V1-raket geraakt. Vele vertrekken waren hierdoor sterk beschadigd.
Tussen 1960 en 1962 werd het kasteel met behulp van de Belgische staat en door Graaf van Liederkercke volledig gerestaureerd. Daarvoor, in 1948, werd het kasteel al uitgeroepen als beschermd monument. Graven Etienne en Bertrand de Liedekerke willen het kasteel dat ze geërfd hebben van hun tante Henriette d’Oultremont, zo vaak mogelijk openzetten voor evenementen, zoals Product lanceringen, Workshops, Bedrijfsfeesten, Beurzen, Teambuildings, Concerten, Communies, Verjaardagsfeesten en Huwelijksfeesten. De opbrengst is voor het onderhoud van het kasteel.