De naam van het dorp doet vermoeden dat hier al heel vroeg een kasteel bestond. Maar bij gebrek aan documenten, blijft bij de oorsprong van het kasteel een groot vraagteken. Maar als er al een gewone molen was in 1226, leidt het geen twijfel dat het kasteel in die tijd al bestond. Het zou gebouwd zijn door de machtige heren van Trazignies.
In 1434 kwam het in bezit van Jean van Horne. Deze familie zou het in eigendom houden tot 1666. De graven van Thurn und Taxis, Postmeesters van de zuidelijke Nederlanden, volgden de graven van Horne op en werden in 1681 prinsen van Kasteelbrakel.
In 1835 werd het kasteel gekocht door graaf van Robiano, overgrootvader van de huidige eigenaar. Het verkeerde in die tijd in zeer slechte staat daar het verscheidene jaren onbewoond was gebleven. De herstelling- en verbouwingswerken gingen meteen van start en kreeg het zijn voorkomen dat wij nu hedendaags nog kunnen bewonderen.
Het kasteel van Braine-le-Château, gelegen in een groene pracht van de vallei van de Hain, een bijriviertje van de Sennette, is geklasseerd sinds 1949, het park sinds 1989.