Но не только Курорт так понравился семье Достоевских. Сам город влюбил Фёдора Михайловича и его родных в себя. Анна Григорьевна рассказывала: «Первое наше путешествие в Старую Руссу ярко запечатлелось в моей памяти, как одно из отрадных воспоминаний нашей семейной жизни. Хоть зима 1871/72 года и прошла для нас благополучно и интересно, но мы уже с великого поста начали мечтать о том, как бы уехать ранней весною и куда-нибудь подальше в глушь, где можно было бы работать, да пожить вместе, не в народе, как в Петербурге, а как привыкли с мужем жить за границей, довольствуясь обществом друг друга. И вот наша мечта осуществилась».
Местом своего пребывания в первое старорусское лето Достоевские выбрали дом И. И. Румянцева. Жена писателя Анна Григорьевна вспоминала: «Наконец, в три часа дня, пароход подошел к пристани. Мы забрали свои вещи, сели на линейки и отправились разыскивать нанятую для нас (чрез родственника Владиславлева) дачу священника Румянцева. Впрочем, разыскивать долго не пришлось: только что мы завернули с набережной реки Перерытицы в Пятницкую улицу, как извозчик мне сказал: «А вон и батюшка стоит у ворот, видно, вас дожидается». Действительно, зная, что мы приедем около 15 мая, священник и его семья поджидали нас и теперь сидели, и стояли у ворот. Все они нас радостно приветствовали, и мы сразу почувствовали, что попали к хорошим людям».
Сегодня от дома И.И. Румянцева в Старой Руссе остался только памятный камень, находящийся на пересечении улиц Сварога и Георгиевской.
В следующий приезд Достоевских дом И.И. Румянцева был занята, поэтому местом своего жительства в Старой Руссе семья писателя выбрала дом отставного полковника Гриббе. Небольшой деревянный домик на тихой набережной, которая сегодня названа в честь великого писателя, вскоре был выкуплен Фёдором Михайловичем. Так, этот дом стал единственной недвижимой собственностью Достоевского, а Старая Русса – единственным городом, выбранным Федором Михайловичем по собственному желанию.
«Своё гнездо» - так ласково великий автор называл свой дом. В маленьком кабинете на втором этаже писались главы «Братьев Карамазовых» - романа о Старой Руссе и её жителях, романы «Бесы», «Подросток» и «Пушкинская речь», с которой писатель выступал на открытии памятника Пушкину в 1808 году в Москве.
После смерти писателя его жена, Анна Григорьевна, организовала в доме музей, который теперь привлекает десятки тысяч туристов и почитателей Достоевского со всего мира.