Kasteel Dufour werd opgericht in 1906, in de periode rond de eeuwwisseling, in opdracht van baron Dufour uit Turnhout. De opdrachtgever behoorde tot de lokale elite en speelde een prominente rol in het maatschappelijke en economische leven van de stad. Hij was gedurende meerdere jaren burgemeester van Turnhout en tevens ingenieur-industrieel. Hij bekleedde gedurende vele jaren een leidinggevende functie bij de gerenommeerde drukkerij Brepols, in die tijd een belangrijke motor van de regionale industrie.
Het kasteel werd opgetrokken in neogotische stijl, een bouwstijl die aan het einde van de 19de en het begin van de 20ste eeuw populair was bij de hogere burgerij en adel, omdat zij verwees naar middeleeuwse tradities en prestige. Het gebouw werd ingeplant in een uitgestrekt Engels landschapspark, waarbij de natuurlijke vormen van het terrein werden benut. Het kasteel ligt centraal op het domein en is licht verheven, wat het een monumentale uitstraling verleent en tegelijk een wijds uitzicht over de omgeving mogelijk maakt.
Het domein beslaat ongeveer 30 hectare en bestaat uit een gevarieerd landschap van loofbossen, open grasvelden, heestergroepen en meerdere vijvers. Deze aanleg sluit aan bij de principes van de Engelse landschapsstijl, waarin afwisseling, zichtlijnen en een schijnbaar natuurlijke inrichting centraal staan. In de zomermaanden fungeerde het kasteel als buitenverblijf voor de familie Dufour, terwijl het tijdens de winterperiode vooral werd gebruikt als uitvalsbasis voor jachtpartijen.
Na de Tweede Wereldoorlog kreeg het kasteel een nieuwe maatschappelijke functie. Het gebouw en het omliggende domein werden ingericht als herstel- en rustverblijf voor diamantbewerkers. In deze periode werd het domein herdoopt tot “Domein Levenslust”, een naam die de nieuwe bestemming en het welzijnskarakter van de site moest benadrukken.
In 1985 werd het volledige domein, inclusief het kasteel en het park, overgedragen aan het ACW Turnhout via een gebruiksovereenkomst. Deze overeenkomst had een looptijd van drie jaar en voorzag in een mogelijkheid tot verlenging met dertig jaar. Al snel bleek echter dat de hoge kosten voor onderhoud en beheer niet haalbaar waren binnen deze constructie. Om die reden werd het contract voortijdig stopgezet in 1988.
Vandaag is het kasteel Dufour in privébezit en niet toegankelijk voor publiek.