De oudste vermeldingen van de familie die de naam Van Lovendegem droeg, gaan terug tot de dertiende eeuw. In 1295 verschijnt Wouter van Lovendegem in de bronnen als dienaar van Gwijde van Dampierre, graaf van Vlaanderen. Met deze vermelding wordt de naam van de heerlijkheid voor het eerst expliciet verbonden aan een adellijke familie, wat wijst op het ontstaan van een lokale machtsbasis rond Lovendegem.
In de veertiende eeuw woonde Roeland van Lovendegem, een nakomeling van Wouter, in een versterkte slottoren die de kern vormde van het latere kasteel. Deze toren fungeerde zowel als residentie als verdedigingspunt en was typerend voor de feodale machtsstructuren van die tijd. Tijdens de vijftiende en zestiende eeuw kwam de heerlijkheid door erfopvolging in handen van afstammelingen van Filips de Goede, hertog van Bourgondië. Hierdoor werd Lovendegem opgenomen in het uitgebreide netwerk van Bourgondische bezittingen, wat het prestige en de politieke betekenis van het domein aanzienlijk vergrootte.
Zoals bij vele adellijke heerlijkheden het geval was, wisselde Lovendegem in de daaropvolgende eeuwen herhaaldelijk van eigenaar. Erfenissen, huwelijken, schenkingen en occasionele inbeslagnames zorgden voor een voortdurende dynamiek in het bezit van het domein. In de tweede helft van de zeventiende eeuw kwam echter een definitief einde aan de invloed van de oude heren. De toenmalige heer van Lovendegem had zich dermate diep in de schulden gestoken dat de Raad van Vlaanderen ingreep en besliste het domein openbaar te verkopen.
De heerlijkheid werd aangekocht door Gillis Dons, heer van Scheldewindeke, een invloedrijke figuur binnen de regionale adel. In 1716 werd hij tot baron verheven, waarmee een nieuwe adellijke dynastie werd gevestigd. Vanaf dat moment droeg de familie de titel Dons de Lovendeghem, een naam die hun blijvende verbondenheid met het domein benadrukte. Onder hun bewind bleef Lovendegem een belangrijk residentieel en symbolisch centrum.
Het kasteel zelf onderging doorheen de eeuwen meerdere verbouwingen en uitbreidingen, telkens aangepast aan de noden en smaak van de opeenvolgende eigenaars. Zijn huidige monumentale verschijningsvorm kreeg het echter pas in de negentiende eeuw. Tussen 1858 en 1888 werd het kasteel vrijwel volledig heropgebouwd in een eclectische stijl, naar een ontwerp van de Gentse architect P. Van Kerckhove. In dit ontwerp werden elementen uit verschillende historische stijlen samengebracht, wat resulteerde in een imposant en representatief geheel dat de rijkdom en het maatschappelijk aanzien van de familie Dons de Lovendeghem moest onderstrepen.
Het geslacht Dons de Lovendeghem bleef onafgebroken verbonden aan het kasteel tot in de eenentwintigste eeuw. Met het overlijden van de laatste baron in 2014 kwam een einde aan een eeuwenlange familiale traditie die het kasteel en de heerlijkheid diepgaand had gevormd.
Vandaag is het kasteel van Lovendegem eigendom van baron Patrick de Ladoucette, internationaal bekend als eigenaar van het prestigieuze wijnhuis De Ladoucette en producent van de gerenommeerde Pouilly-Fuméwijnen. Daarmee is de geschiedenis van het kasteel opnieuw verbonden met een naam die niet alleen lokaal, maar ook ver buiten de landsgrenzen aanzien geniet.