De Schelde was in de 10de eeuw de politieke grens tussen het Duitse keizerrijk en het Franse koninkrijk.
Rond 970 bouwde keizer Otto I op de rechteroever van de Schelde, ter verdediging van het markgraafschap Brabant, een houten versterking, die later werd vervangen door een stenen burcht. Het Steen, het oudste gebouw van de stad, is een deel van die voormalige burcht en werd gebouwd rond 1200-1225.
Begin 14de eeuw verloor de burcht haar militaire waarde en verbleef de markgraaf er niet langer en werd het Steen gebruikt als "huis van voorarrest”. Rond 1520, ten tijde van Karel V, werd de burcht grondig verbouwd. Van het Steen bleef alleen de onderbouw in Doornikse steen bewaard die duidelijk te onderscheiden is van de zandstenen bovenbouw uit de 16de eeuw.
Het Steen deed vooral dienst als gevangenis. Vooral tijdens de godsdiensttroebelen van de 16de eeuw krijgt het Steen een afschrikwekkende reputatie en hebben er vele executies van ketters plaats. Tot in 1823 blijft het een huis van bewaring.
Het Steen was jarenlang (1952 - 2008 ) de thuishaven van het Scheepvaartmuseum. Nu die collectie verhuisd is naar het Museum aan de Stroom kreeg het Steen een nieuwe functie als ontmoetingsruimte voor kinderen. In 2020 zal het Steen, na een grondige renovatie, en een minder geslaagde nieuwbouw, de toegangspoort vormen tot de stad Antwerpen. Een ideale locatie met een nieuw toeristisch onthaalcentrum voor bezoekers die alles willen weten over de stad.