Aan het begin van de veertiende eeuw lieten de Clermonts, afstammelingen van de heren van Walcourt, een eerste versterking oprichten op de plek waar vandaag het kasteel van Harzé staat. In de zestiende eeuw kreeg het domein zijn huidige vorm: een imposant geheel in Maaslandse renaissancestijl, volledig opgetrokken uit lokale natuursteen. Door de eeuwen heen kwam het kasteel in handen van vooraanstaande adellijke families, waaronder de La Marck, de Ligne en de Lynden. Vooral graaf Ernest de Suys de Lynden liet in de zeventiende eeuw een blijvende indruk na. Hij streefde ernaar het kasteel een uitstraling te geven die aansloot bij zijn hoge status en liet het daarom aanzienlijk verfraaien.
In de achttiende eeuw werd het complex verder uitgebreid. In 1723 werden stallen en schuren toegevoegd, gevolgd door de bouw van een conciërgewoning in 1724. Het voorplein werd verfraaid met een galerij in Italiaanse renaissancestijl, terwijl het interieur werd verrijkt met een indrukwekkende gravenzaal, die het representatieve karakter van het kasteel benadrukte. Later ging het domein over in handen van de families Rahier en de Potter d’Indoye.
De twintigste eeuw bracht ingrijpende restauraties met zich mee. Tussen 1909 en 1924 werden de gevels vernieuwd onder leiding van architect Camille Bourgault. Tijdens de Tweede Wereldoorlog speelde het kasteel een opmerkelijke historische rol: tijdens het Ardennenoffensief vestigde de Amerikaanse generaal Matthew Ridgway er zijn hoofdkwartier. Op kerstavond 1944 ontving hij er zowel veldmaarschalk Bernard Montgomery als opperbevelhebber Dwight D. Eisenhower.
Sinds 1965 is het kasteel beschermd als monument. In 1973 werd het aangekocht door de provincie Luik, met als doel het een toeristische en culturele bestemming te geven. Vandaag huisvest het kasteel van Harzé het Museum van de Maalderij en de Bakkerij en vormt het een sfeervol decor voor tentoonstellingen, culturele activiteiten en feestelijke evenementen, waarbij zijn rijke geschiedenis tastbaar aanwezig blijft.