De eerste vermelding van het kasteel van Petite Somme dateert uit de 11de eeuw, toen Gozelon de Montaigu eigenaar was van de burcht. In die tijd maakte het kasteel deel uit van de noordelijke verdedigingslinie van het graafschap Luxemburg, een strategische positie die bedoeld was om de streek te beschermen tegen invallen en grensconflicten.
In 1461 kwam het kasteel in handen van de adellijke familie de Hamal. Gedurende drie eeuwen bleef de heerlijkheid, samen met het kasteel, in het bezit van deze familie. Onder hun bewind ontwikkelde het domein zich tot een welvarend landgoed met een versterkte woontoren of donjon als kern. De Hamals drukten hun stempel op de omgeving, zowel economisch als cultureel, en het kasteel van Petite Somme bleef een belangrijk symbool van hun macht en invloed.
In 1864 werd het domein overgenomen door Aimable-Alexis de Jourda, graaf de Vaux. Deze besloot het oude kasteel van de familie de Hamal volledig af te breken, inclusief de middeleeuwse donjon, en op de bestaande grondvesten een nieuw kasteel te bouwen in neogotische stijl, naar de mode van de 19de eeuw. Het nieuwe kasteel kreeg een statige uitstraling met torens, spitsbogen en rijk versierde gevels, kenmerkend voor de romantische herwaardering van de middeleeuwse architectuur in die periode.
Tijdens de Eerste Wereldoorlog deed het kasteel dienst als hospitaal. De familie de Jourda verzorgde er gewonde soldaten, wat het domein een belangrijke humanitaire functie gaf in die moeilijke jaren. Tijdens de Tweede Wereldoorlog, en meer bepaald tijdens het van Rundstedt-offensief (de Slag om de Ardennen), verbleven Amerikaanse soldaten in het kasteel, dat toen tijdelijk als militair onderkomen diende.
In 1946 werd het kasteel verkocht en omgevormd tot een vakantiecentrum voor studenten. Dit initiatief kende echter geen langdurig succes: het centrum ging failliet en het domein kwam in verval. In 1975 werd het kasteel aangekocht door Serge Frankovich, een makelaar uit Brussel, maar na enkele jaren leegstand, waarin het gebouw geplunderd werd en zware schade opliep door vandalisme, verloor het zijn vroegere glorie volledig.
Een nieuw hoofdstuk begon in januari 1980, toen de internationale gemeenschap voor Krishna Bewustzijn (Hare Krishna-beweging) het kasteel aankocht. Zij gaven het de naam Radhadesh, naar de heilige regio die in de Indiase traditie symbool staat voor spirituele toewijding en vrede. Meteen na de aankoop begonnen de leden met een grootschalig herstel- en verbouwingsproject van het kasteel en de bijgebouwen. Deze werkzaamheden, uitgevoerd met veel zorg en toewijding, duren tot op de dag van vandaag voort.