Wat oorspronkelijk een gesloten boerderij was, onderging aan het begin van de twintigste eeuw een ingrijpende transformatie tot een statig neoclassicistisch kasteel. Deze metamorfose werd gerealiseerd op initiatief van Clément Peten, een invloedrijke figuur in de regio. Peten was niet alleen volksvertegenwoordiger en industrieel, maar ook een gepassioneerd paardenfokker en gedurende meer dan zestig jaar burgemeester van Velm, van 1868 tot 1929. Samen met zijn echtgenote Eugénie van Halen liet hij de voormalige hoeve omvormen tot een representatieve residentie die zijn maatschappelijke status en ambities weerspiegelde. Het nieuwe kasteel kreeg een classicistische uitstraling met een symmetrische opbouw en elegante gevels, passend bij de architecturale smaak van de hogere burgerij en lokale elite in die periode.
Na de dood van Clément Peten verloor het kasteel zijn functie als privéresidentie en brak een nieuwe fase in zijn geschiedenis aan. In 1954 werd het domein verkocht aan de Zusters van Liefde, die het gebouw een uitgesproken sociale en educatieve bestemming gaven. Zij richtten er een Hogere Technische School met internaat op, waarmee het kasteel een centrale rol ging spelen in het onderwijsleven van Velm en de ruime omgeving. Voor deze nieuwe functie werd het bestaande kasteel aangepast, terwijl op het domein bijkomende schoolgebouwen werden opgetrokken om aan de groeiende onderwijsbehoeften te voldoen. Gedurende meerdere decennia vormde de site een belangrijk centrum voor zowel hoger als middelbaar onderwijs.
In 1996 kwam er een einde aan deze onderwijsfunctie. Naar aanleiding van een fusie met scholen in Sint-Truiden en Zepperen werden de activiteiten in Velm stopgezet, waarna het domein opnieuw zijn bestemming verloor en een periode van onzekerheid inging.
Een nieuwe toekomst diende zich aan in 2005, toen Triamant, een private ontwikkelaar gespecialiseerd in inclusieve woon- en leefprojecten, het volledige domein verwierf. Dit omvatte niet alleen het kasteel, maar ook de voormalige schoolgebouwen, het omliggende park en de bijhorende infrastructuur. Triamant ontwikkelde de site tot een grootschalige zorg- en woonomgeving, met een sterke focus op senioren, maar met ruimte voor intergenerationeel wonen. Er kwamen onder meer een woonzorgcentrum en diverse verblijfsmogelijkheden, ook voor jonge gezinnen. Het kasteel zelf kreeg een publieke en gastvrije invulling als brasserie en hotel, waardoor het opnieuw een ontmoetingsplaats werd voor bewoners en bezoekers.
Na het faillissement van Triamant in 2023 brak opnieuw een overgangsperiode aan. De volledige site werd overgenomen door Woonzorggroep Orelia, die sindsdien instaat voor het beheer en de verdere uitbating van het zorgcomplex. Daarmee blijft het voormalige kasteel, ondanks zijn sterk veranderde functies doorheen de tijd, een levend onderdeel van het sociale en ruimtelijke weefsel van Velm, waarin wonen, zorg en erfgoed samenkomen.