Het domein Hovorst verschijnt voor het eerst in de geschreven bronnen in de loop van de veertiende eeuw. In deze periode was Arnoldus de Hoevorst er beleend met een hoeve, bestaande uit akker- en weiland, gelegen in het gehucht Vierseldijk, als leen van de hertog van Brabant. Het betreft hier oorspronkelijk een agrarisch domein, waarvan de evolutie tot een versterkte residentie slechts indirect kan worden gereconstrueerd. Over het precieze moment waarop op deze site een kasteel werd opgericht, bestaat geen zekerheid. Hoewel sommige onderzoekers de bouw van een eerste versterkt huis rond het jaar 1400 situeren, ontbreken tot op heden ondubbelzinnige archeologische of archivalische bewijzen die deze datering bevestigen.
In 1414 kwam Hovorst in het bezit van Claus van de Werve, bijgenaamd de Oude. De familie Van de Werve behoorde tot de invloedrijke Antwerpse patriciërsfamilies, die hun macht en prestige ontleenden aan zowel stedelijke functies als aan uitgestrekte landgoederen op het platteland. Over de concrete verschijningsvorm van Hovorst in de vijftiende en zestiende eeuw zijn geen directe beschrijvingen bewaard gebleven. Het is evenwel aannemelijk dat het domein in deze periode geleidelijk werd uitgebouwd tot een residentieel versterkt complex, conform de gangbare ontwikkeling van adellijke hoven in het hertogdom Brabant.
Pas in de zeventiende eeuw laten de bronnen toe een duidelijker beeld te vormen van het kasteel en zijn omgeving. In 1618 werd een gedetailleerde kaart van het domein opgemaakt, die wijst op een gestructureerde aanleg van gronden en waterpartijen. Nog explicieter is een ets uit 1696, waarop een omwald slot wordt afgebeeld, bereikbaar via een lange oprijlaan en een ophaalbrug. Deze voorstelling sluit nauw aan bij het type van de waterburcht, dat in deze periode wijdverbreid was in de Kempen en het Brabantse laagland, en waarin defensieve elementen geleidelijk een meer representatieve functie kregen.
De familie Van de Werve bleef eigenaar van Hovorst tot 1651. Financiële problemen, voortvloeiend uit krijgsgerelateerde lasten in de context van de langdurige militaire conflicten van de zeventiende eeuw, dwongen de toenmalige eigenaar tot de verkoop van het domein. In de daaropvolgende decennia kende Hovorst een reeks van opeenvolgende eigenaars, wat vermoedelijk gepaard ging met beperkte ingrepen aan het gebouwencomplex, zonder ingrijpende structurele wijzigingen.
In 1802 werd het kasteel aangekocht door P.J. de Bruyn, die het bestaande gebouw liet aanpassen aan de heersende smaak van het begin van de negentiende eeuw. De verbouwingen werden uitgevoerd in de empirestijl, waarbij het middeleeuwse karakter van het slot gedeeltelijk werd afgezwakt ten gunste van een meer classicistische en residentiële uitstraling.
Bij de verkoop van het domein in 1875 kwam Hovorst opnieuw in handen van de familie Van de Werve. Augustinus van de Werve gaf opdracht tot een grondige herstructurering van het kasteel. Daarbij werden delen van het oudere gebouwenbestand gesloopt en vervangen door nieuwbouw. Voor deze ingrijpende campagne werd de architect Pierre Langerock aangetrokken, die het kasteel voorzag van een uitgesproken vormgeving in de stijl van de Vlaamse neorenaissance. Deze herinterpretatie van historische stijlelementen verleende Hovorst zijn huidige, karakteristieke en pittoreske uiterlijk, dat het resultaat is van een negentiende-eeuwse visie op middeleeuwse en vroegmoderne architectuur.