По архивным данным, на «темной» стороне улицы в 1860-х годах находилось домовладение из двух смежных дворовых мест, принадлежавшее титулярному советнику Дмитрию Захарову. Первое место досталось ему по дарственной записи от матери в 1859 году, а второе было приобретено у некоего поручика Шевелева. В 1899 году хозяин усадьбы продал одно дворовое место своему сыну Виктору, служащему Управления РУЖД, а затем расстался и со вторым местом, уступив его своей невестке Лидии Петровне Захаровой, супруге младшего сына Валентина, агронома по специальности.
Новые владельцы вскоре решили перестроить свои старые дома. Взяв необходимую сумму в Обществе взаимного кредита, Захаровы-младшие в начале XX века возвели на этом месте большой и красивый доходный дом, в котором проживали и сами.
Точных сведений об архитекторе в архивах не сохранилось, однако есть основания полагать, что к составлению проекта здания имели прямое отношение саратовские зодчие Петр Зыбин и Георгий Плотников, служившие в те годы вместе с хозяином дома, инженером-технологом Виктором Захаровым в железнодорожном ведомстве.
По окончании работ обновленный двухэтажный дом по фасаду занял всю длину принадлежавшего Захаровым участка, а во двор вела проездная арка, сохранившаяся до сих пор. Во дворе размещались одноэтажные службы.
Симметричный краснокирпичный фасад главного здания был богато декорирован фигурной кирпичной кладкой. Карнизы, подоконные и межоконные ниши, рустовка первого этажа, арки трех центральных верхних окон и боковых ризалитов, стилизованные замковые камни, сандрики над окнами – все очень гармонично сочеталось между собой. Над домом возвышались три аттика, центральный венчал парадный вход. Элементами декора служили также накладные кованые детали и металлические ворота с декоративным рисунком.
Главный домовладелец Виктор Захаров в свое время являлся видным общественным деятелем. Он состоял гласным Саратовской городской Думы, участвовал в работе водопроводной, строительной, мостовой, земельной, училищной комиссий. Также в разные годы Захаров входил в состав различных ревизионных комиссий, попечительских советов учебных заведений и просветительских обществ.
В своем большом доме две семьи хозяев занимали до десяти комнат, все остальные, включая подвал, сдавались в аренду. Например, в нижнем помещении дома Захаровых размещалась частная библиотека, которую нередко посещали воспитанники духовной семинарии.
Сам дом являлся своеобразным культурным центром для саратовской интеллигенции. Известно, что здесь у молодой четы Захаровых часто бывал в гостях знаменитый саратовский художник Виктор Борисов-Мусатов. Также в данной усадьбе снимал квартиру первый в нашем городе профессиональный художник Дмитрий Россов, выпускник Императорской Академии художеств. В Саратове он выполнял светские и духовные заказы, преподавал в институте благородных девиц, имея там мастерскую.
В одной из квартир дома Захаровых одно время жила семья Мерцлиных, выходец из которой, Роман Викторович, стал впоследствии ректором Саратовского университета.
С 1912 года в особняке Захаровых проживал с семьей приглашенный из Санкт-Петербурга на должность профессора акушерско-гинекологической кафедры, доктор медицины Николай Какушкин. Он возглавлял кафедру до 1930 года.
В наши дни бывшая усадьба Захаровых с десятком муниципальных и приватизированных квартир по-прежнему украшает небольшую улицу Пушкина в историческом центре города. Дом официально признан объектом культурного наследия регионального значения.
