Het kasteel van Potegem behoort tot de oudste en historisch meest betekenisvolle gebouwen van het Waregemse patrimonium. De vroegste bekende vermelding van het domein gaat terug tot de tweede helft van de 10de eeuw. In een schenkingsoorkonde droeg Arnulf I de Grote, graaf van Vlaanderen, een deel van zijn bezittingen, waaronder Potegem, over aan de Sint-Pietersabdij van Gent. Hiermee maakte het domein deel uit van het uitgestrekte grafelijke en kerkelijke grondbezit dat het middeleeuwse landschap van Vlaanderen structureerde. Tussen 1260 en 1270 verdwijnt Potegem uit het bezit van de abdij, waarna het opnieuw een wereldlijke bestemming krijgt.
In de loop van de 16de eeuw wordt het kasteel vermeld als residentie van Walter van Potegem, derde graaf van de heerlijkheid Ingelmunster. Deze periode viel samen met de turbulente decennia van de godsdienstoorlogen en de opstand tegen het Spaanse gezag. Walter van Potegem schaarde zich, net als de heren van Kruishoutem, Wortegem en Nokere, aan de zijde van het verzet tegen de Spaanse bezetter. Als gevolg daarvan werd het kasteel van Potegem een militair doelwit. Na de verwoesting van de kastelen van Kruishoutem en Wortegem rukten Spaanse troepen op naar Potegem, waar hevige gevechten plaatsvonden.
De situatie werd voor de bewoners onhoudbaar. Zij zagen zich genoodzaakt het kasteel te verlaten en zochten hun toevlucht in een onderaardse gang die het kasteel verbond met de Sint-Amandus- en Sint-Blasiuskerk op de Markt van Waregem. Tijdens deze belegering liep de burcht zware schade op en brandde zij gedeeltelijk uit. Walter van Potegem zelf wist te ontkomen en dook onder in Gent, waarmee een bewogen hoofdstuk uit de militaire geschiedenis van het kasteel werd afgesloten.
In de daaropvolgende eeuwen onderging het kasteel meerdere aanpassingen en functiewijzigingen, maar het verloor geleidelijk aan zijn residentiële en defensieve betekenis. In 1830, het jaar waarin België zijn onafhankelijkheid verwierf, kreeg het gebouw een opmerkelijk nieuwe bestemming. Ivo en Julie Van Robaeys richtten er een exclusief jongenspensionaat op, waarmee het kasteel werd ingeschakeld in het opvoedkundige en maatschappelijke leven van de jonge natie. Later kwam het domein in handen van het Openbaar Centrum voor Maatschappelijk Welzijn, dat het kasteel beheerde maar niet kon verhinderen dat het gebouw in verval raakte.
In 1930 betekende de aankoop door industrieel Robert Vindevogel een keerpunt. Hij verwierf het sterk verwaarloosde kasteel van het OCMW en liet het grondig restaureren. De werken stonden onder leiding van architect Viérin, die het gebouw een uitgesproken neobarokke uitstraling gaf. Deze restauratie bepaalde in grote mate het huidige uitzicht van het kasteel en redde het van verdere achteruitgang.
Vandaag is het kasteel van Potegem opnieuw een private residentie. Het domein is in handen van de familie Devos, die het historische gebouw bewoont en zo een eeuwenlange bewoningsgeschiedenis verderzet. Daarmee blijft het kasteel een levend monument dat de lange en vaak bewogen geschiedenis van Waregem tastbaar maakt.