Het kasteel Ten Berg wordt voor het eerst vermeld in 1689, in de vroegste geschiedschrijving van Blaasveld. Oorspronkelijk stond op deze plek een hoeve die als achterleen behoorde tot de heerlijkheid Blaasveld. Deze bescheiden agrarische site groeide later uit tot een classicistisch kasteeltje, dat in 1789 in handen kwam van de familie Wouters de Jauche, een invloedrijke adellijke familie in de regio.
In de daaropvolgende eeuwen kende Ten Berg talrijke verbouwingen en aanpassingen. Tijdens de Eerste Wereldoorlog werd het kasteel echter volledig verwoest, waardoor van het oorspronkelijke gebouw nauwelijks iets bewaard bleef. In 1921 besloot burgemeester Ludovic Lefebvre-Wouters de Jauche een nieuw kasteel te laten bouwen. Hij gaf de opdracht aan architect Cyrille van den Bergh, die een ontwerp uitwerkte in Vlaamse renaissancestijl. Het nieuwe kasteel werd zo een statig baken in het landschap, dat de traditie van het vroegere domein voortzette.
De familie Lefebvre-Wouters de Jauche speelde een prominente rol in het bestuur van Blaasveld: gedurende meer dan 125 jaar leverden zij onafgebroken de burgemeester van het dorp, wat de sterke band tussen de familie en het kasteeldomein nog duidelijker onderstreept.
In december 1982 werd het kasteel zwaar getroffen door een brand die grote schade veroorzaakte. Nadien volgde een grondige heropbouw en modernisering van het interieur. Bij de renovatie werd het kasteel heringericht als restaurant, waardoor het een nieuwe functie kreeg en opnieuw een plaats innam in het sociale en culturele leven van Blaasveld.