Het domein Veltwijck kent een lange en rijke geschiedenis die teruggaat tot de 14de eeuw. Op de plaats van het huidige complex bevond zich oorspronkelijk een omgrachte hoeve, zoals die in de late middeleeuwen vaker voorkwamen in het landelijke gebied rond Antwerpen. Deze versterkte landbouwsite vormde de eerste aanzet tot het latere kasteel en bepaalde mee de structuur van het landschap.
Rond 1440 kwam het domein in handen van Jan van Ursel, een vooraanstaand lid van de Antwerpse schepenbank. Omdat Van Ursel zijn werk en vaste verblijfplaats in de stad had, gebruikte hij het domein niet als permanente woonplaats, maar als hof van plaisantie: een buitenverblijf waar stadsbestuurders en welgestelde burgers zich terugtrokken om te ontspannen, te jagen en gasten te ontvangen. Met zijn aankoop legde Van Ursel de basis voor een nieuwe functie van het domein, waarbij het meer werd dan enkel een landbouwkundige site.
In 1545 veranderde Veltwijck opnieuw van eigenaar. Via een openbare verkoop op de Antwerpse Vrijdagmarkt kwam het in bezit van Aert van Veltwijck, lakenkoopman, poorter en lid van de gegoede burgerij. Hij verwierf het domein nadat het eerder eigendom was geweest van de familie Happaert. Van Veltwijck gaf het kasteel zijn eerste grote gedaanteverandering. Rond 1555 liet hij het bestaande gebouw grondig verbouwen in Vlaamse renaissancestijl, een architecturale stijl die toen in zwang was bij rijke burgers en die zich kenmerkte door trapgevels, speklagen in bak- en zandsteen en elegante ornamentiek. Bij de verkoop van het domein door zijn erfgenamen in 1564 werd melding gemaakt van een groot en nieuw huis van plaisantie, wat aangeeft dat het kasteel onder zijn bewind een aanzienlijk en representatief lusthof was geworden.
Tijdens de woelige periode rond het einde van de 18de eeuw kwam het domein in 1795 in handen van Antoon Kannekens. Hij koos voor een ingrijpende herinrichting die sterk verschilde van de renaissancestijl van zijn voorgangers. Kannekens liet de voorgevel afbreken, de omgrachting gedeeltelijk dempen en een Engelse landschapstuin aanleggen, een tuinstijl die in die tijd bijzonder populair werd. Door deze aanpassingen kreeg het complex zijn huidige U-vorm met een open binnenhof, omgeven door een groen, natuurlijk ogend parklandschap waarin kronkelende paden en zichtlijnen de romantische sfeer bepaalden.
De laatste belangrijke bouwkundige wijzigingen vonden plaats rond 1905, toen barones de Borrekens het domein bezat. Zij liet een extra verdieping aanbrengen op het hoofdgebouw en schakelde de architect Henri Blomme in om een restauratie uit te voeren. Blomme stond bekend om zijn zorgvuldige omgang met historiserende architectuur, waardoor het kasteel een harmonieuze combinatie kreeg van renaissancistische elementen en vroeg-20ste-eeuwse aanpassingen.
In 1929 verkocht de barones het domein aan de gemeente Ekeren. Vanaf 1930 kreeg het gebouw een nieuwe, publieke functie als gemeentehuis, en sinds de bestuurlijke hervorming van 1983 dient het als districtshuis. Tegelijkertijd werd het park opengesteld voor de bevolking, waardoor het domein evolueerde van een privébuitenverblijf tot een belangrijk gemeentelijk groen- en erfgoedgebied.