Het huidige Gravenkasteel vindt zijn oorsprong in 1662, wanneer baron Jacob Ferdinand de la Pierre opdracht gaf om een nieuw kasteel te bouwen als uitbreiding van het oude Hof Ten Damme, dat aan de overzijde van de weg lag. Met deze bouwcampagne werd de basis gelegd voor een kasteeldomein dat in de daaropvolgende eeuwen een belangrijke rol zou spelen in de lokale geschiedenis. In de achttiende eeuw kreeg het domein een nieuwe impuls onder het bestuur van de adellijke familie van de graven van Salm. Zij resideerden er bijna tachtig jaar en lieten er een tastbare stempel achter, zowel op de architectuur als op de inrichting van het park. Aan deze familie dankt het kasteel zijn huidige naam, die hun langdurige aanwezigheid in herinnering houdt.
Na het vertrek van de graven van Salm kwam het kasteel in handen van verschillende eigenaars, wat leidde tot periodes van zowel onderhoud als verval. Een keerpunt volgde in 1895, toen Mathilde Maria Moretus De Bouchout-Geelhand het domein aankocht. Zij liet het gebouw in 1902 grondig renoveren, waardoor het kasteel opnieuw zijn allure en statige uitstraling herwon. Deze restauratieperiode bracht het Gravenkasteel terug tot volle glorie, maar de rust was van korte duur. Tijdens de Eerste Wereldoorlog, in 1914, werd het vanuit het fort van Bornem onder vuur genomen. De schade was aanzienlijk en het kasteel verloor een deel van zijn vroegere pracht. Pas in 1916 begon men aan een beperkte heropbouw, vooral gericht op het opnieuw bewoonbaar maken van het gebouw.
De geschiedenis van het kasteel nam opnieuw een wending op 5 oktober 1927, toen het verkocht werd aan de naamloze vennootschap l’Auxiliaire du Progrès. Hoewel deze periode geen grote bouwkundige ingrepen met zich meebracht, legde ze wel de basis voor de verdere herbestemming van het domein. In 1963 veranderde de functie van het kasteel ingrijpend: Willy De Maegd huurde het gebouw en richtte er een rustoord voor bejaarden in. Dit betekende het begin van de transformatie van het Gravenkasteel tot een zorgsite, een rol die het tot op vandaag vervult. In 1965 kocht de familie De Maegd het volledige domein, en in 1968 werd in de tuin een bijkomend verpleegtehuis opgetrokken om tegemoet te komen aan de toenemende zorgnoden.
Ook in de eenentwintigste eeuw bleef het domein in gebruik als woon- en zorgomgeving. In 2012 werd het oudere woonzorgcentrum vervangen door een moderne nieuwbouw, beheerd door de zorggroep Armonea. Deze nieuwbouw omvat tweehonderd kamers, waarvan vele uitzicht bieden op het historische kasteel en de omliggende vijver. Zo blijft het Gravenkasteel, ondanks zijn eeuwenlange evolutie en de vele functies die het doorheen de tijd vervulde, het centrale en beeldbepalende element van een domein dat steeds opnieuw werd aangepast aan de noden van elke tijd, maar toch zijn bijzondere karakter wist te behouden.