Около 1380 года шведский императорский советник и помещик Бу Йонссон, член рода Грип, который приобрел ряд поместий в районе Марифред, решил построить здесь замок (стратегически расположенный на небольшом острове).
В последующие 150 лет у замка была насыщенная событиями история. Она была приобретена датской королевой Маргаритой I, пообещала графу Гансу фон Эверстену (чей судебный пристав быстро сгорел во время восстания “Энгельбректа”) и, после дальнейшей смены владельца, окончательно завещала близлежащему монастырю, чартерный дом Мариенфреда.
Но примерно через 30 лет она была вновь конфискована короной, и в 1525 году Густав I. Васа решил перевести свою постоянную резиденцию в Грипсхольм. По этой причине он расширил и модернизировал замок до крепости.
Самым значительным изменением стало добавление четырех мощных башен, которые до сих пор характеризуют облик здания. Один из них, в конце концов, должен был служить Густаву как своей резиденции.
После его смерти строительство замка продолжил Эрик XIV с длительными перерывами. Уже тогда замок был непригоден в качестве оборонительной крепости; вместо этого его время от времени использовали в качестве тюрьмы.
Например, в 1563-1567 гг. здесь содержался его брат Иоганн III и его жена Катарина Ягеллоница. В 1571 году Иоганн запер в замке своего свергнутого брата Эрика и его семью.
Наконец, 13 июня 1573 года Эрика вывели из плена сын Густава Васа, будущий король Карл IX (официально из-за необходимого ремонта потолка).
Именно Карлом был построен знаменитый Императорский зал, где сегодня можно полюбоваться полноформатным портретом Густава Вазы.
Со временем дворец неоднократно менялся и приспосабливался к преобладающему духу времени, например, когда у Густава III возникла идея построить здесь частный театр.
В конце 19 века состоялись последние крупные реставрации и перестройки. Однако, когда в ходе этих работ была предпринята попытка перевернуть все изменения, начиная с примерно 1600 года, произошел ожесточенный протест, и проект был снят с производства.
В результате замок сохранился как шедевр архитектуры, отражающий несколько веков истории шведской культуры, и в настоящее время открыт для посетителей.