Op 9 december 1616 droeg Gabriel de Glimes, baron van Florennes, de heerlijkheid Soumoy officieel over aan Jacques de Robaulx. Deze overdracht markeerde het begin van een nieuwe en langdurige adellijke aanwezigheid op het domein. Kort na zijn verwerving liet Jacques de Robaulx het huidige kasteel oprichten, vermoedelijk op de plaats van een oudere herenwoning. Met deze nieuwbouw gaf hij Soumoy een uitgesproken residentieel en representatief karakter, passend bij de status en ambities van een gevestigde adellijke familie in het begin van de 17de eeuw.
De familie De Robaulx bleef gedurende meerdere eeuwen nauw verbonden met Soumoy en speelde een prominente rol in het lokale en regionale bestuur. Verschillende familieleden traden op als heren van Soumoy, maar waren tegelijk actief in openbare functies, onder meer als burgemeester van het dorp en als lid van de ridderschap van de provincie Namen. Deze combinatie van lokaal gezag en provinciale vertegenwoordiging onderstreept de invloedrijke positie die de familie innam binnen de maatschappelijke structuren van het ancien régime. Daarnaast leverden sommige telgen ook intellectuele bijdragen. Een markant voorbeeld is Aimé-Louis-Philémon de Robaulx de Soumoy (1808–1881), die zich onderscheidde als jurist en historicus en bijdroeg aan de geschiedschrijving en rechtsgeleerdheid van zijn tijd.
Het kasteel van Soumoy weerspiegelt duidelijk de bouwtraditie van 17de-eeuwse adellijke residenties in de streek. Het bestaat uit een kubusvormig hoofdgebouw, geflankeerd door twee vierkante hoektorens. De witgekalkte baksteenmuren, gecombineerd met leien daken en bolvormige spitsen, geven het geheel een sober maar waardig voorkomen. Rond het hoofdgebouw ontwikkelde zich een functioneel geheel van bijgebouwen, waaronder stallen, twee hoeves met gesloten binnenpleinen en een oudere stenen woning, die samen het economische en huishoudelijke hart van het domein vormden.
Van bijzondere betekenis is de nabijgelegen Sint-Andrieskerk, die oorspronkelijk fungeerde als kasteelkapel. Haar aanwezigheid getuigt van de religieuze en sociale rol die de familie De Robaulx in Soumoy vervulde. De kerk was niet alleen een plaats van eredienst voor de bewoners van het kasteel, maar ook een symbool van hun patronaatschap en invloed binnen de lokale gemeenschap.
Tot diep in de 19de eeuw bleef het kasteel in het bezit van de familie De Robaulx. In de 20ste eeuw kreeg het domein, zoals zoveel historische residenties, te maken met de ingrijpende gevolgen van oorlog en maatschappelijke verandering. Tijdens de Tweede Wereldoorlog werd het kasteel in mei 1940 ingericht als veldhospitaal voor Franse troepen en nadien door de Duitse bezetter in gebruik genomen. Deze militaire episode liet onvermijdelijk sporen na in de geschiedenis van het gebouw.
Na de oorlog kende het kasteel uiteenlopende bestemmingen, onder meer als gastenverblijf en ontvangstruimte, waarbij het zijn residentiële functie gedeeltelijk wist te behouden. Vandaag staat het kasteel te koop en wacht het op een nieuwe invulling. Ondanks deze onzekerheid blijft het erfgoed van de familie De Robaulx en hun eeuwenlange verbondenheid met Soumoy duidelijk leesbaar in de architectuur, de omgeving en de historische gelaagdheid van het domein.