Hoewel het kasteel zijn huidige uitzicht pas rond 1840 kreeg, gaat de geschiedenis ervan veel verder terug. De eerste vermelding dateert van omstreeks 1280, toen het de woning was van Jan van Oudenaarde.
Op het einde van de 15de eeuw kwam het kasteel in handen van Antoon van Bourgondië, een bastaardzoon van hertog Filips de Goede. Door zijn huwelijk werd hij heer van Wakken. Zijn kleinzoon Adolf van Bourgondië, ridder en heer van Wakken, trad op als buitengewoon afgezant van koning Filips II. Omdat hij kinderloos overleed, ging de heerlijkheid over op de kinderen van zijn zus Clara Andries van Bourgondië, die gehuwd was met Antoon II van Bourgondië. Hun zonen, Adolf en Anton III van Bourgondië, bekleedden belangrijke functies binnen het bestuur van de Zuidelijke Nederlanden. Adolf was onder meer viceadmiraal van Vlaanderen, terwijl Anton III het ambt van grootbaljuw van Gent uitoefende. Onder hun bestuur nam het aanzien van de heerlijkheid verder toe. Wakken werd in 1614 verheven tot baronie en in 1626 tot graafschap.
In 1715 kwam het kasteel via een huwelijk in het bezit van de familie Van Maldeghem-Wakken. Rond 1840 werd het grondig verbouwd tot het huidige neoclassicistische gebouw. Hoewel het een nieuw uiterlijk kreeg, zouden de kelders en fundamenten nog delen van het middeleeuwse kasteel bevatten.
Het kasteel bestaat uit een centraal volume onder een schilddak, geflankeerd door twee lagere zijvleugels met platte daken. De sierlijke ingangspartij, voorzien van decoratieve elementen en een balkon, vormt een opvallend architecturaal accent. Aan de achterzijde strekt zich een parkachtige tuin uit.
In 1862 verkocht de familie Van Maldeghem-Wakken het domein aan baron Joseph Kervyn de Lettenhove. Tussen 1890 en 1934 werd het bewoond door Gustaaf Kervyn de Lettenhove.
In 1937 kwam het kasteel in handen van de familie Dewever. Aanvankelijk werd het gebruikt als vakantieverblijf. Na de Tweede Wereldoorlog stelde de familie het ter beschikking als opvangtehuis voor kinderen van ouders die door de naoorlogse repressie waren getroffen.
In 1964 werd het kasteel gerestaureerd en ingericht als privéwoning met advocatenkantoor. Vandaag is het beschermd als monument en vormt het een waardevol getuigenis van de rijke geschiedenis van Wakken.