De oorsprong van het kasteel van Seilles gaat terug tot vóór 1340, toen het domein in handen was van het geslacht de Seilles, dat zijn naam aan de plaats gaf. Het oorspronkelijke middeleeuwse kasteel bestond uit een langwerpig hoofdgebouw in kalksteen, geflankeerd door twee ronde torens. Hoewel dit vroege bouwwerk in de loop der eeuwen grondig werd aangepast, zijn nog verschillende elementen bewaard gebleven die aan deze periode herinneren. Zo draagt het monumentale portaal het jaartal 1714 en zijn in het metselwerk nog sporen zichtbaar van de vroegere ophaalbrug, wat wijst op het defensieve karakter van het complex. Reeds in de veertiende eeuw fungeerde het kasteel als zetel van een grondheerlijkheid, van waaruit de heren hun gezag over de omliggende gronden uitoefenden.
Een belangrijke wending in de geschiedenis van Seilles volgde in 1594, toen de Spaanse koning Filips IV het domein verhief tot hoge heerlijkheid. Deze verheffing ging gepaard met de toekenning van uitgebreide juridische bevoegdheden aan de heren van Seilles, waaronder de uitoefening van rechtspraak. In deze periode nam het kasteel zijn residentiële en administratieve rol verder op en werd een aanzienlijk deel van het huidige gebouwencomplex opgetrokken. Ook de bijbehorende vierkantshoeve, die het economische hart van het domein vormde, dateert grotendeels uit deze tijd.
In 1620 kwam het kasteel in handen van Guillaume d’Oyenbrugge de Duras en zijn echtgenote. Onder hun bewind werd niet alleen het wooncomfort verhoogd, maar ook de omgeving verfraaid door de aanleg van een kasteelpark, dat het geheel een meer representatief karakter verleende. De laatste eigenaar die nog de titel van heer van Seilles droeg, was Guillaume de Borchgrave. Met de Franse Revolutie kwam echter een abrupt einde aan het feodale systeem en werden de heerlijke rechten afgeschaft. In deze nieuwe politieke context werd generaal Edouard-Alexis Merx de Corbais eigenaar van het kasteel.
Tijdens de negentiende eeuw onderging het gebouw een ingrijpende architecturale transformatie. In overeenstemming met de toenmalige smaak werd het kasteel herwerkt in neogotische stijl, waardoor het zijn huidige silhouet en decoratieve uitstraling kreeg. Deze verbouwing gaf het historische complex een romantisch karakter, terwijl oudere bouwdelen in de nieuwe vorm werden geïntegreerd.
In 1954 schonk de laatste particuliere eigenaar het kasteel aan de Openbare Onderstand, de voorloper van het huidige OCMW. Het gebouw kreeg een sociale functie en deed tot het einde van de jaren 1990 dienst als rusthuis. Nadien volgde een periode van herbestemming, waarbij het kasteel onder meer een culturele en toeristische invulling kreeg. In 2007 besliste de Waalse regering, op voorstel van de stad Andenne, om het kasteel om te vormen tot een woonproject met negentien sociale wooneenheden. Met deze ingreep kreeg het eeuwenoude kasteel van Seilles opnieuw een maatschappelijke rol, waarbij historisch erfgoed en hedendaagse noden op betekenisvolle wijze met elkaar werden verbonden.