Reeds in de 14de eeuw bevond zich op de site van het huidige Kasteel Altena een versterkt gebouw. Historische bronnen en latere beschrijvingen wijzen erop dat het ging om een robuuste en strategisch gelegen burcht, bewoond door kasteleins die hun positie bekleedden met toestemming van de graven van Vlaanderen. De ligging maakte het kasteel tot een belangrijk verdedigingspunt in een periode waarin de machtsverhoudingen tussen de graaf, de adel en de opkomende steden regelmatig tot gewapende conflicten leidden.
In 1368 onderging het kasteel een belangrijke vernieuwing, wat erop wijst dat de site reeds toen een blijvende militaire en bestuurlijke betekenis had. Tijdens de onrustige jaren rond de Gentse opstanden tegen het grafelijk gezag speelde Altena opnieuw een rol. In 1380 verdedigden kastelein Mark Van Schoonvelde en zijn manschappen het kasteel tegen de Gentenaars, die in die periode herhaaldelijk grafelijke bezittingen aanvielen. Deze gebeurtenissen plaatsen Altena duidelijk in de bredere context van de politieke en sociale spanningen van het laatmiddeleeuwse Vlaanderen.
Het huidige kasteel dateert uit 1594 en werd opgetrokken ter vervanging van een ouder gebouw dat ongeveer tien jaar eerder door brand was verwoest. Met deze heropbouw werd de site aangepast aan de noden van de vroegmoderne tijd. Het nieuwe kasteel verloor grotendeels zijn strikt militaire karakter en evolueerde tot een waterkasteel dat zowel defensieve elementen als residentieel comfort combineerde. Gedurende meerdere eeuwen bleef Altena onafgebroken in het bezit van de familie Lanfranchy, die het domein tot 1850 beheerde en er haar stempel op drukte.
Na het vertrek van de familie Lanfranchy kwam het kasteel in handen van E. P. Filip, ridder le Boucq de Beaudignies. In 1878 gaf hij opdracht tot een grondige restauratie en uitbreiding van het waterkasteel. Voor deze werken deed hij een beroep op de gerenommeerde Antwerpse architect Joseph Schadde, die bekend stond om zijn historiserende ontwerpen. Onder diens leiding kreeg Altena een uitgesproken 19de-eeuws karakter, waarbij oudere bouwdelen werden geïntegreerd in een romantisch geïnspireerd geheel dat aansloot bij de toenmalige interesse voor het middeleeuwse verleden.
Na de Tweede Wereldoorlog kende het kasteel een ingrijpende functiewijziging. Van 1946 tot 2000 was het eigendom van de Zusters van de Heilige Vincentius à Paulo uit Beveren, die het domein gedurende meer dan een halve eeuw gebruikten als rustoord. In deze periode werd het kasteel aangepast aan zijn nieuwe bestemming, zonder dat het historische karakter volledig verloren ging.
In 2000 namen de Broeders van Liefde uit Gent het kasteel over. Zij richtten er een studie- en vormingscentrum in van het International Canon Triest, waarmee het domein opnieuw een sociale en educatieve functie kreeg. Na hun vertrek in 2017 kwam het kasteel grotendeels leeg te staan, wat de bezorgdheid deed toenemen over de toekomst van deze waardevolle erfgoedsite. Vanuit verschillende hoeken werd benadrukt dat een verdere invulling bij voorkeur geen louter private bestemming zou krijgen, maar zou aansluiten bij het maatschappelijke verleden van het domein.
Uiteindelijk kwam het kasteel in handen van de bvba Altena, die plannen ontwikkelde voor de oprichting van een zorgcentrum met een specifieke focus op mensen met een beperking. In dit project wordt het kasteel zelf gerestaureerd en herbestemd voor administratieve functies en therapieruimtes, terwijl nieuwe infrastructuur op het domein de zorgactiviteiten zal ondersteunen. Op die manier wordt gestreefd naar een evenwichtige combinatie van erfgoedbehoud en hedendaagse maatschappelijke relevantie, zodat Kasteel Altena ook in de toekomst een betekenisvolle rol kan blijven spelen binnen zijn omgeving.