Het Kasteel van Poeke kent een lange en complexe geschiedenis die haar oorsprong vindt in de volle middeleeuwen. De heren van Poeke behoorden tot de hogere adel van het graafschap Vlaanderen en stonden bekend als trouwe vazallen van de Vlaamse graven. Hun politieke en militaire trouw, gecombineerd met hun strategisch gelegen heerlijkheid, maakte het mogelijk dat zij in Poeke een versterkte burcht mochten oprichten. Het exacte moment waarop deze eerste burcht werd gebouwd, is niet met zekerheid te achterhalen, maar archeologische en historische aanwijzingen suggereren dat dit reeds in de loop van de 12de of 13de eeuw moet zijn gebeurd.
In de 14de eeuw speelde het kasteel een rol in de gewelddadige conflicten die het graafschap Vlaanderen teisterden. Tijdens de opstand van Gent tegen graaf Lodewijk van Male, een van de meest ingrijpende sociale en politieke conflicten van de late middeleeuwen, werd de burcht van Poeke in 1382 ingenomen door Gentse troepen. Nog in datzelfde jaar kwam Eulaard II van Poeke, heer van Poeke en een belangrijk edelman binnen het grafelijk kamp, om het leven. Hij sneuvelde op het Beverhoutsveld, nabij Brugge, waar hij aan het hoofd stond van de grafelijke strijdmacht die de Gentse milities trachtte tegen te houden. Deze nederlaag betekende een zware slag voor het grafelijk gezag en onderstreepte de kwetsbaarheid van adellijke residenties in tijden van stedelijke opstanden.
Na de middeleeuwen verloor het kasteel geleidelijk zijn strikt militaire functie en evolueerde het meer en meer tot een residentieel en representatief adellijk verblijf. Aan het einde van de 16de eeuw kwam de heerlijkheid van Poeke in handen van Jean de Preudhomme. Hij verwierf het domein in 1597, maar overleed reeds kort na de aankoop. Zijn zoon, Jean-Baptist de Preudhomme, erfde het bezit en zou een belangrijke rol spelen in de verdere ontwikkeling van het kasteel. In 1600 werd hij in Atrecht tot ridder geslagen en hij maakte carrière als officier in het leger van de Spaanse Nederlanden, dat op dat ogenblik onder Habsburgs gezag stond.
Het is zeer waarschijnlijk dat Jean-Baptist de Preudhomme instond voor een ingrijpende verbouwing van de oorspronkelijke middeleeuwse waterburcht. De vroegere zeshoekige plattegrond werd verlaten en vervangen door een rechthoekig kasteel met twee zijvleugels, wat beter aansloot bij de woon- en representatiebehoeften van de vroegmoderne adel. De funderingen van het huidige kasteel, evenals de vier hoektorens, gaan vermoedelijk terug op deze verbouwingscampagne. Het is echter niet uitgesloten dat bepaalde onderdelen van oudere torens of muren in het nieuwe ontwerp werden geïntegreerd, wat typerend was voor verbouwingen uit deze periode.
In de 19de eeuw brak een nieuwe en bijzonder bepalende fase aan in de geschiedenis van het kasteel. In 1872 werd het domein aangekocht door baron Victor Pycke de Peteghem, telg uit een Oudenaardse adellijke familie en raadsheer bij de Raad van Vlaanderen. Hij had grote ambities voor het kasteel en liet reeds een jaar na de aankoop omvangrijke verbouwingswerken aanvatten. Deze werden uitgevoerd naar plannen van de Brusselse architect de Limbourg en pasten volledig binnen de toenmalige interesse voor historische stijlen en romantische kasteelarchitectuur.
Tijdens deze 19de-eeuwse verbouwing kreeg het kasteel grotendeels zijn huidige neogotisch-eclectische uitzicht. Hoewel men zich liet inspireren door middeleeuwse vormen en motieven, ging het om een eigentijdse interpretatie die comfort, representatie en historische evocatie combineerde. Van het 18de-eeuwse gebouw bleven slechts het grondplan, de vier torens en enkele architecturale details behouden, terwijl het overige volume en decoratieve programma grondig werden vernieuwd.
Na het overlijden van baron Victor Pycke de Peteghem bleef het kasteel in handen van de familie. Barones Ines Pycke de Peteghem, de laatste erfgename, bewoonde het kasteel tot haar dood in 1951. In haar testament beschikte zij dat het volledige domein werd geschonken aan het Nationaal Werk der Katholieke Schoolkolonies, een organisatie die zich inzette voor de opvang en ontspanning van kinderen. Hierdoor kreeg het kasteel een nieuwe maatschappelijke functie, los van zijn adellijke oorsprong.
In 1977 werd het domein eigendom van de gemeente Aalter, die het openstelde voor het brede publiek en zo bijdroeg aan het behoud en de bekendmaking van het kasteel en zijn park. Sinds 2021 behoort het domein met het kasteel toe aan Toerisme Vlaanderen, dat instaat voor het beheer, het onderhoud en de verdere ontsluiting van dit waardevolle historische erfgoed, dat vandaag geldt als een van de best bewaarde en meest karaktervolle kastelen van Oost-Vlaanderen.