Het Braemkasteel wordt voor het eerst vermeld in een akte uit 1387, waarin het wordt beschreven als een burcht opgericht door Hughe Braem en zijn echtgenote Isabelle van Halewijn. De familie Braem, die in de late middeleeuwen tot de welgestelde en invloedrijke patriciërs van Gent en zijn omgeving behoorde, vestigde op deze locatie een stevig versterkt bolwerk. Dankzij de strategische ligging aan de Rietgracht maakte het kasteel deel uit van het verdedigingssysteem van de stad Gent en speelde het een rol in de bescherming van het omliggende grondgebied tijdens periodes van militaire dreiging en belegering.
Aan het begin van de zeventiende eeuw kwam het Braemkasteel in het bezit van Gilles du Faing, hoogbaljuw van Vlaanderen en baron van Jumoigne. Deze overgang markeert een verschuiving van stedelijk-patricisch naar hoger adellijk bezit, wat gepaard ging met aanpassingen aan de residentiële en representatieve functie van het kasteel. Gedurende de achttiende eeuw wisselde het domein herhaaldelijk van eigenaar, vaak via openbare verkoop of door schenking, een patroon dat typerend is voor de instabiliteit van adellijk en grootgrondbezit in deze periode.
In 1801 werd het domein verworven door Pierre Maria Regis du Rot. Onder zijn eigenaarschap werd het park aanzienlijk uitgebreid en werd het kasteel volledig heropgebouwd. Bij deze ingreep verloor het gebouw zijn oorspronkelijke rechthoekige plattegrond en kreeg het een nagenoeg vierkante vorm, wat wijst op een grondige heroriëntatie van het gebouwconcept en een verdere evolutie van verdedigbare burcht naar comfortabele residentie. In 1903 voerde de familie Groverman de la Kethule bijkomende wijzigingen door, naar ontwerp van architect S. Mortier, waarbij het kasteel opnieuw werd aangepast aan de esthetische en functionele normen van het begin van de twintigste eeuw.
Na de Tweede Wereldoorlog kreeg het Braemkasteel een uitgesproken publieke functie. In 1946 werd het door de gemeente Gentbrugge aangekocht en ingericht als gemeentehuis. Het bijbehorende park behield de naam Tochparkje, een verwijzing naar burgemeester Frans Toch, onder wiens bestuur het domein werd verworven. Deze nieuwe bestemming markeerde een belangrijke fase in de geschiedenis van het kasteel, waarbij het private adellijke domein werd geïntegreerd in het openbaar bestuur en het lokale gemeenschapsleven.
In de eenentwintigste eeuw werd het Braemkasteel opnieuw herbestemd. In 2012 was er de Academie voor Muziek, Woord en Dans De Kunstbrug in gevestigd, alvorens de onderwijsinstelling later verhuisde naar vernieuwde gebouwen elders in de stad. Vandaag onderzoekt de stad Gent de mogelijkheden voor een erfpachtconstructie, waarbij wordt gezocht naar een nieuwe invulling die het kasteel opwaardeert met respect voor zijn historische, architecturale en erfgoedwaarde.