Over de concrete ontstaansgeschiedenis en vroege uitbouw van het kasteel is slechts beperkte documentatie bewaard gebleven. Op basis van historische context en indirecte bronnen wordt algemeen aangenomen dat de oorsprong van het domein teruggaat tot de dertiende eeuw. In deze periode schonk de hertog van Brabant de heerlijkheid Vorselaar aan de familie van Rotselaar. Deze toekenning kaderde in een bredere feodale strategie om de belangrijke handelsroute tussen Antwerpen en Keulen te beveiligen en de lokale bevolking te beschermen tegen invallen van buitenaf.
De familie van Rotselaar liet op deze strategische locatie een versterkte burcht oprichten, bestaande uit een donjon en omgeven door waterpartijen. Het ontwerp sloot aan bij de toen gangbare verdedigingsarchitectuur en weerspiegelde de blijvende collectieve herinnering aan de invallen van de Noormannen in de regio in de voorafgaande eeuwen. Deze dreiging, hoewel historisch inmiddels voorbij, bleef een belangrijke referentie in de middeleeuwse defensieve mentaliteit en droeg bij aan de keuze voor een robuuste en goed verdedigbare constructie.
Tot het begin van de zestiende eeuw bleef het kasteel in het bezit van de heren van Rotselaar. In de daaropvolgende periode wisselde het domein meerdere malen van eigenaar via huwelijk en erfopvolging. Zo kwam het achtereenvolgens in handen van Michel de Croÿ, Cornelis de Bergeus, prins-bisschop van Luik, en diens schoonbroer Jean de Ligne. Deze overdrachten illustreren de nauwe verwevenheid van adellijke families en kerkelijke machtsstructuren in de Zuidelijke Nederlanden tijdens de late middeleeuwen en de vroegmoderne tijd.
Na het overlijden van zijn eerste echtgenote trad Jean de Ligne in het huwelijk met Margareta van Arenberg. Via dit huwelijk kwam het kasteel in handen van de invloedrijke prinselijke familie van Arenberg, die het domein gedurende meerdere generaties in bezit zou houden. Het eigendom bleef binnen deze familie tot 1663, toen het kasteel en de bijhorende heerlijkheid werden verkocht aan Jan Proost.
Onder Jan Proost en latere eigenaars, onder wie vooral Filip de Werve een belangrijke rol speelde, onderging het kasteel ingrijpende verbouwingen en aanpassingen. In deze periode verloor het zijn uitgesproken middeleeuwse defensieve karakter en werd het geleidelijk omgevormd tot een residentieel kasteel, aangepast aan de comfort- en representatie-eisen van de vroegmoderne adel. Het huidige uitzicht van het kasteel is in belangrijke mate het resultaat van deze zeventiende- en achttiende-eeuwse ingrepen.
Sinds 1911 bevindt het kasteel zich in het bezit van de familie de Borrekens. In recente jaren werd het domein in erfpacht gegeven aan een vennootschap, waarmee een nieuwe fase werd ingeluid in het gebruik en beheer van het historisch patrimonium.