Rond 1380 besloot het Zweedse keizerlijk raadslid en landeigenaar Bo Jonsson, een lid van de familie Grip, die een aantal landgoederen in het Mariefred gebied had verworven, hier een kasteel te bouwen (strategisch gelegen op een klein eiland).
In de daaropvolgende 150 jaar had het kasteel een bewogen geschiedenis. Het werd overgenomen door de Deense koningin Margaretha I, verpand aan graaf Hans von Ewersten (wiens deurwaarder het snel afbrandde in de loop van de “Engelbrekt” opstand) en, na verdere eigendomswisselingen, uiteindelijk nagelaten aan het nabijgelegen klooster, het Charterhuis Marienfred.
Maar ongeveer 30 jaar later werd het weer in beslag genomen door de kroon en in 1525 besloot Gustav I. Wasa zijn vaste woonplaats te verhuizen naar Gripsholm. Daarom liet hij het kasteel uitbreiden en opwaarderen tot een vesting.
De belangrijkste verandering was de toevoeging van de vier machtige torens, die vandaag de dag nog steeds het gezicht van het gebouw kenmerken. Een van hen zou uiteindelijk Gustav dienen als zijn residentie.
Na zijn dood werd de bouw van het kasteel met lange onderbrekingen voortgezet door Erik XIV. Toen al was het kasteel ongeschikt als verdedigingswerk; in plaats daarvan werd het sporadisch gebruikt als gevangenis.
Tussen 1563 en 1567 liet hij bijvoorbeeld zijn broer Johann III en zijn vrouw Katharina Jagiellonica hier opsluiten. In 1571 sloot Johann zijn afgezette broer Erik en zijn familie op in het kasteel.
Uiteindelijk werd Erik op 13 juni 1573 door Gustav Vasa’s zoon Karl, de toekomstige koning Karl IX, uit de gevangenis gehaald (officieel vanwege noodzakelijke plafondreparaties).
Het was ook Karel die hier de beroemde Keizerlijke Zaal liet bouwen, waar vandaag de dag een avondvullend portret van Gustav Wasa te bewonderen is.
In de loop van de tijd werd het paleis herhaaldelijk gewijzigd en aangepast aan de heersende tijdgeest, bijvoorbeeld toen Gustav III het idee had om hier een privé-theater te bouwen.
Aan het einde van de 19e eeuw vonden de laatste grote restauraties en verbouwingen plaats. Toen echter in de loop van deze werken een poging werd gedaan om alle veranderingen vanaf ongeveer 1600 terug te draaien, kwam er hevig protest en werd het project stopgezet.
Als gevolg daarvan is het kasteel bewaard gebleven als een meesterwerk van de architectuur, dat enkele eeuwen van de Zweedse cultuurgeschiedenis weerspiegelt, en is nu opengesteld voor bezoekers.