Недалеко от церкви далее по ул. Рождественской находится городская усадьба графов Строгановых (д.45), прямых потомков Григория Строганова. К 1820 г. древние каменные палаты их старой усадьбы пришли в негодность, и управляющий имением сообщил об этом владельцам. Строгановы приняли решение разобрать прежние строения и возвести более подобающую их знатности городскую усадьбу.
Усадьба Строгановых состоит из трехэтажного господского дома и двух небольших флигелей, стоящих по его бокам фасадами на красную линию Рождественской улицы. Со стороны набережной стоят фасадом к пристаням склады для железа и соли. Это наиболее интересный памятник жилой дворянской архитектуры города 1820-х гг.
Вслед за Строгановыми развернули строительство городского усадебного комплекса их родственники князья Голицыны.
Известно, что гостем хозяйки этой усадьбы Софьи Владимировны Строгановой в 1833 г. был А.С. Пушкин, написавший через 2 месяца после этого визита повесть «Пиковая дама», где прообразом главной героини – старой графини, знавшей «тайну трех карт» стала мать С.В. Строгановой – знаменитая в светском обществе «усатая княгиня» Наталья Петровна Голицына.