Построенная из дерева на 30 году жизни крепость полностью сгорела, после чего была заново отстроена из камня. После присоединения Новгорода к Московскому княжеству крепость серьезно укрепили, разобрав до фундамента и отстроив по периметру всего острова новые оборонительные 12-метровые стены толщиной 4,5 метра. Давние соперники Руси шведы неоднократно пытались завладеть крепостью, и в 1611 году им это удалось.
Шведы на протяжении 90 лет хозяйничали в крепости, которую назвали Нотебургом. Только во время Северной войны она вернулась к старым хозяевам и была вновь переименована в Шлиссельбург, или «Ключ-город». С XVIII века крепость утрачивает свое оборонительное значение и становится тюрьмой с дурной славой и суровыми порядками.
За малейшее непослушание узников ожидала казнь, заключенные умирали от чахотки и туберкулеза. За все время никому не удалось сбежать из Шлиссельбургской крепости.