Kasteel Ter Vesten kent een rijke geschiedenis die teruggaat tot de 18de eeuw. Het domein waarop het kasteel zich bevindt, kwam in 1775 in handen van de familie Le Paige. Meer dan een eeuw later, in 1892, liet Henri Le Paige, voormalig burgemeester en telg van deze familie, het huidige kasteel optrekken. Hoewel er geen sluitende bewijzen zijn, wordt aangenomen dat de Lierse architect J. B. Van Bouchout verantwoordelijk was voor het ontwerp. Zijn hand is mogelijk herkenbaar in de combinatie van neostijlen en de zorgvuldige detaillering die het gebouw typeren.
De benaming Ter Vesten verwijst naar het militaire verleden van de locatie. Op deze plek bevond zich vroeger een bastion dat deel uitmaakte van de stadsomwalling. De vijver bij het kasteel is een van de weinige zichtbare restanten van die vroegere verdedigingsstructuur en herinnert aan het strategische belang dat het gebied ooit had.
Het kasteel weerspiegelt het leven en de esthetische voorkeuren van de gegoede burgerij aan het einde van de 19de eeuw. Het interieur bestaat uit een reeks stijlkamers die elk een andere neostijl vertegenwoordigen. Deze vertrekken zijn zorgvuldig ingericht om een harmonieuze sfeer op te roepen die typerend is voor de tijdsgeest. Daarnaast beschikt het kasteel over een salon in art nouveau-stijl, waarin organische vormen, verfijnde afwerkingen en kleurrijke ornamenten de toon zetten. Een bijzonder element is de tuinkamer, die opvalt door haar muurschilderingen en glas-in-loodramen. Deze ruimte geeft een bijna schilderachtige inkijk in de opvattingen over kunst en decoratie rond de eeuwwisseling.
In 1976 werd het kasteel verworven door de kerkfabriek van de Onze-Lieve-Vrouweparochie. De bedoeling was om het gebouw in te richten als kerkruimte, maar uit onderzoek bleek dat de architecturale structuur zich niet leende voor een dergelijke functie. Hierdoor bleef het kasteel enkele jaren onderbenut. Aangezien het belang van het gebouw steeds duidelijker werd, groeide het besef dat een nieuwe bestemming wenselijk was. Dankzij een samenwerking tussen de vzw Ter Vesten, de kerkfabriek en het stadsbestuur kon het kasteel tussen 1997 en 1999 worden gerestaureerd. Het restauratieproject stond onder leiding van architecten H. Adriaensens en G. Van Gorp, die het gebouw met respect voor het oorspronkelijke karakter hebben opgewaardeerd. In het jaar 2000 kreeg Kasteel Ter Vesten een sociaal-culturele functie, waarmee het opnieuw een centrale rol in het lokale gemeenschapsleven ging vervullen.
Rond het kasteel bevindt zich een arboretum dat in de loop der jaren een bijzondere verzameling bomen en planten heeft opgebouwd. Deze collectie omvat zeldzame soorten uit verschillende delen van de wereld, waardoor het domein niet alleen historisch, maar ook botanisch van grote waarde is.