Het kasteel van Moorsele vindt zijn oorsprong in de late middeleeuwen en werd in de eerste helft van de vijftiende eeuw heropgebouwd op de resten van een ouder kasteel. Dit vroegere bouwwerk was vermoedelijk een bescheiden versterkte woning die fungeerde als residentie van de heren van Moorsele en Moorslede. De heropbouw gebeurde in opdracht van Geldolf I van der Gracht, kamerheer en raadsheer van Filips de Goede, hertog van Bourgondië. Onder zijn impuls kreeg het domein een meer uitgesproken residentieel en representatief karakter, passend bij zijn positie binnen het Bourgondische hof.
Een belangrijk overblijfsel uit deze vijftiende-eeuwse bouwfase is de markante vierkante toren, die nog steeds het silhouet van het kasteel bepaalt. Deze toren vormt een tastbare herinnering aan de middeleeuwse oorsprong van het domein en illustreert de overgang van een defensieve versterking naar een statiger woonkasteel.
In de loop van de zestiende eeuw werd het kasteel zwaar getroffen door een brand. Ondanks deze tegenslag werd het gebouw telkens opnieuw hersteld, wat wijst op het blijvende belang van het domein als adellijke residentie. De opeenvolgende herstellingen gingen gepaard met aanpassingen aan de veranderende woon- en comforteisen, zonder de historische kern volledig te verloochenen.
Tegen het einde van de achttiende eeuw onderging het kasteel een ingrijpende vernieuwing. In 1779, net voor het uitbreken van de Franse Revolutie, werd de huidige woonvleugel opgetrokken. Deze bouwfase weerspiegelt de elegante en evenwichtige bouwstijl van de late achttiende eeuw, waarbij comfort en representativiteit primeren boven militaire functies. Het kasteel verloor in deze periode zijn defensieve karakter en evolueerde definitief tot een residentieel landhuis.
Tijdens de Eerste Wereldoorlog werd het kasteel bezet door Duitse troepen, wat opnieuw een breuk betekende in het vreedzame gebruik van het domein. In de Tweede Wereldoorlog liep het gebouw zware schade op, waardoor ingrijpende herstellingswerken noodzakelijk werden. Deze schade tastte zowel het exterieur als delen van het interieur aan en bedreigde tijdelijk het voortbestaan van het historisch ensemble.
In 1966 werd het kasteel grondig gerestaureerd onder leiding van architect Luc Viérin. Bij deze restauratie kreeg het gebouw zijn huidige uitzicht, waarbij gestreefd werd naar een evenwicht tussen historisch herstel en hedendaagse bruikbaarheid. De woontoren werd toen uitgerust met een klokkenspel, dat sindsdien meerdere keren per dag weerklinkt over het domein en een herkenbaar element vormt in het dorpsbeeld van Moorsele.
De historische en architecturale waarde van het kasteel werd officieel erkend in 2005, toen het kasteel werd beschermd als monument. Deze bescherming omvat ook de bakstenen toegangsbrug, geflankeerd door twee venijnbomen, evenals het koetshuis en de omwalling. Samen vormen zij een coherent en waardevol erfgoedensemble dat getuigt van meer dan vijf eeuwen bouwgeschiedenis en adellijke bewoning.