Het kasteel Bivort kent een lange en bewogen geschiedenis die teruggaat tot de dertiende eeuw. Het werd oorspronkelijk opgericht in opdracht van Nicolaas III van Fontaines, bisschop van Kamerijk, als een versterkte residentie die zowel een bestuurlijke als een defensieve functie vervulde binnen dit strategisch gelegen gebied van Henegouwen. Het eerste kasteel was vermoedelijk een robuuste middeleeuwse burcht, aangepast aan de militaire noden van zijn tijd.
In 1408 werd het gebouw zwaar getroffen door een brand tijdens een gewapend conflict met de prins-bisschop van Luik. Deze verwoesting betekende echter niet het einde van het kasteel: het werd kort daarna heropgebouwd op dezelfde fundamenten, wat wijst op het blijvende belang van de site. De wederopbouw hield grotendeels vast aan de middeleeuwse structuur, maar versterkte mogelijk ook de verdedigingswerken.
Tijdens de Italiaanse Oorlog van 1551 tot 1559, waarin Frankrijk en het Heilige Roomse Rijk tegenover elkaar stonden, werd het kasteel in 1552 opnieuw beschadigd door de troepen van de Franse koning Hendrik II. Na deze episode volgde een belangrijke architecturale transformatie. Het kasteel werd heropgebouwd in renaissancestijl, wat tot uiting kwam in een meer residentieel karakter, grotere vensteropeningen en een verfijndere vormgeving, zonder het defensieve aspect volledig te laten varen.
Aan het einde van de achttiende eeuw kreeg het domein opnieuw zware klappen. Tijdens de Eerste Coalitieoorlog, een van de grote conflicten van de Franse Revolutie, werd het kasteel van Fontaine-l’Évêque door Franse troepen verwoest. Tot op dat moment bestond het complex uit twee imposante hoofdgebouwen, omgeven door wallen met maar liefst zeven torens en een droge gracht, wat de militaire betekenis van het geheel onderstreepte. Van deze uitgebreide vesting bleef na de verwoesting slechts een deel overeind.
In de jaren 1860 brak een nieuw tijdperk aan toen het domein werd verworven door Clément Bivort de la Saudée, directeur van de steenkoolmijnen van Monceau-Fontaine en Martinet. Hij gaf het kasteel zijn naam en liet het ingrijpend restaureren en herinrichten. Samen met architect Auguste Cador voerde hij een grondige transformatie door, waarbij historische resten werden geïntegreerd in een nieuw architecturaal geheel. Deze werken gaven het kasteel grotendeels zijn huidige uitzicht en combineerden historische referenties met negentiende-eeuwse smaak.
In de daaropvolgende periode kende het gebouw verschillende bestemmingen. Het deed onder meer dienst als klooster en als kostschool, wat opnieuw ingrepen in het interieur met zich meebracht. Tijdens de Eerste Wereldoorlog werd het kasteel bezet door Duitse troepen, zoals vele strategisch gelegen gebouwen in de regio.
Na de Tweede Wereldoorlog kwam het kasteel in handen van de gemeente. In de onderaardse gangen werden het Mijnmuseum en het Nagelmuseum ingericht, een verwijzing naar het industriële verleden van Fontaine-l’Évêque en haar omgeving. Vandaag herbergt het kasteel de gemeentelijke diensten en blijft het een belangrijk historisch en symbolisch herkenningspunt, waarin eeuwen van militaire, adellijke en industriële geschiedenis samenkomen.