In de tweede helft van de veertiende eeuw duikt het kasteel van Wilder voor het eerst op in de geschreven bronnen. Het domein was toen feodaal verbonden met de heerlijkheid Heverlee en maakte deel uit van het netwerk van adellijke residenties dat het hertogdom Brabant structureerde. Het oorspronkelijke kasteel had vermoedelijk een versterkt karakter en was strategisch ingeplant in een landschap dat zowel agrarisch als bestuurlijk van belang was.
Tijdens de onrustige periode van de Tachtigjarige Oorlog werd het kasteel in 1578 volledig verwoest door Spaanse troepen. Deze verwoesting past in het bredere patroon van militaire campagnes en repressies die de Zuidelijke Nederlanden in de zestiende eeuw teisterden. Pas enkele decennia later, omstreeks 1620, werd op de oude fundamenten een nieuw kasteel opgetrokken. Dit gebouw had een L-vormig grondplan en beantwoordde aan het type van het zeventiende-eeuwse waterkasteel, waarin defensieve elementen gecombineerd werden met residentieel comfort.
In 1629 kwam het domein door huwelijk in handen van de familie Cruyckenburg, die het kasteel en de omliggende gronden zou behouden tot aan het einde van het Ancien Régime. Onder hun bewind kreeg het landgoed een meer uitgesproken landschappelijke en representatieve dimensie. In 1687 liet graaf de Cruyckenburg de Wilderdreef aanleggen, een monumentale, met bomen omzoomde laan die het kasteel van Wilder verbond met het inmiddels verdwenen kasteel van Ruisbeek. Deze dreef getuigde van de barokke aanlegprincipes en van de wens om de verschillende residenties binnen het familiebezit visueel en symbolisch met elkaar te verbinden.
Het zeventiende-eeuwse waterkasteel hield stand tot het begin van de negentiende eeuw. In 1823 werd het afgebroken en vervangen door het huidige kasteel, dat werd opgetrokken in een sobere neoclassicistische stijl. De witgepleisterde gevels, de strakke symmetrie en het ingetogen decor weerspiegelen de architecturale smaak van die periode. Bij de nieuwbouw werd een aanzienlijk deel van de funderingen van het vroegere kasteel hergebruikt, waardoor het nieuwe gebouw letterlijk verankerd bleef in zijn historische voorganger.
Het kasteel wordt omgeven door een uitgestrekt park, waarin nog enkele opmerkelijk oude en zeldzame bomen bewaard zijn gebleven. Dit park sluit aan bij de Engelse landschapsstijl die in de negentiende eeuw in zwang was en die gericht was op natuurlijke zichtlijnen en harmonieuze overgangen tussen gebouw en landschap. Vandaag wordt het kasteel bewoond door de familie de Broqueville, die het domein verder beheert.
De historische hoeve op het domein kreeg sinds 1990 een nieuwe functie. Zij werd omgevormd tot secretariaat, cafetaria en ondersteunende infrastructuur voor de exploitatie van het golfterrein dat zich over ongeveer vijftig hectare uitstrekt. Dit terrein werd grotendeels aangelegd op voormalige akkerbouwgronden en sluit naadloos aan bij het bestaande parklandschap. Door de doordachte aanplanting en het behoud van botanische diversiteit ontwikkelde het golfterrein zich gaandeweg tot een van de belangrijkste arboreta van België, waarin erfgoed, natuur en hedendaags gebruik op evenwichtige wijze samenkomen.