Een van de belangrijkste grootgrondbezitters in Moorsel tijdens het ancien régime was de abdij van Affligem, die er uitgestrekte domeinen bezat. Op een van deze abdijgoederen liet Karel van Croÿ, kardinaal-abt van Affligem en later bisschop van Doornik, in de zestiende eeuw een waterkasteel oprichten. Het gebouw fungeerde zowel als buitenverblijf als lustoord en weerspiegelde de representatieve en residentiële ambities van de hoge geestelijkheid in deze periode.
Het kasteel van Moorsel is gelegen op de zuidflank van de Eksterberg en werd opgevat als een imposant vierzijdig waterslot, omgeven door brede grachten. Het complex wordt op de hoeken geflankeerd door vier ronde torens, voorzien van talrijke schietgaten, wat wijst op een combinatie van defensieve en residentiële functies. Architecturaal sluit het geheel aan bij de renaissancestijl, die in de zestiende eeuw geleidelijk ingang vond in de Zuidelijke Nederlanden, al bleven traditionele middeleeuwse elementen zoals de gesloten plattegrond en de torens duidelijk aanwezig.
In 1564 kwam het kasteel in het bezit van de graven van Hoorne, een invloedrijke adellijke familie met belangrijke politieke en militaire functies. In 1636 werd het domein verkocht aan Don Cayro, onder wiens eigendom het kasteel tot baronie werd verheven. Deze statusverhoging ging gepaard met een ingrijpende restauratiecampagne, waarbij het gebouw werd aangepast aan de toenmalige woon- en representatie-eisen. Desondanks bleef de oorspronkelijke ruimtelijke structuur van het kasteel grotendeels behouden.
In 1678 ging het eigendom over naar de familie Alvelda. Slechts enkele decennia later, in 1702, verkochten zij het kasteel aan de familie Coxie. Deze familie liet aanzienlijke herstellings- en verfraaiingswerken uitvoeren en bracht diverse kunstwerken aan, waardoor het kasteel zijn huidige uitzicht grotendeels verkreeg. Deze ingrepen kaderen binnen een bredere achttiende-eeuwse tendens waarbij adellijke residenties steeds meer het karakter kregen van comfortabele en esthetisch verfijnde woonplaatsen, eerder dan strikt verdedigbare structuren.
Aan het einde van de achttiende eeuw kwam het domein achtereenvolgens in handen van de families Van der Meer en Van der Noot. Via familiale verwantschappen werd het kasteel later geschonken aan de heer en mevrouw De Meulenaire–Dessin. Zij bewoonden het slechts gedurende een korte periode alvorens het te verkopen aan Willy Michiels. Samen met zijn echtgenote, Lisette De Rijck, ondernam hij een grondige en deskundige restauratie van het kasteel, waarmee het gebouw werd behoed voor verder verval en uiteindelijk voor de ondergang werd gered.
In de hedendaagse periode heeft het kasteeldomein van Moorsel een nieuwe functie gekregen. Het is opengesteld voor uiteenlopende culturele en sociale evenementen, waardoor het historische erfgoed niet alleen bewaard blijft, maar tevens opnieuw een actieve en betekenisvolle rol speelt binnen de lokale gemeenschap en het bredere culturele landschap. .