Здание построено в 1780 г. как двухэтажный каменный жилой дом воронежского коменданта полковника Алексея Ивановича Хрущёва. В 1792 г. дом перешёл к губернатору А.И. Хорвату, который при отъезде из города в 1795 г. продал его в казну (за 30 0000 рублей). С тех пор до 1917 г. дом был официальной резиденцией воронежских губернаторов. Здесь размещались канцелярия губернатора и его жилые покои.
В 1797-1800 гг. и 1805-1818 гг. в доме проживал губернатор Александр Борисович Сонцов (1740-е-1811), внёсший значительный вклад в развитие просвещения в городе. В годы его губернаторства была открыта первая в губернии типография (1798); Главное народное училище было преобразовано в гимназию и уездное училище (1809).
При губернаторе Петре Александровиче Сонцове (1820-1824) был ликвидирован бульвар, проходивший посередине Большой Дворянской улицы, мостовая на Большой Дворянской вымощена камнем, появились первые тротуары. В 1824-1826 гг. губернатором 6ыл Николай Иванович Кривцов (1791-1843) – брат декабриста С.И. Кривцова. Н.М. Кривцов в Петербурге был близок А.С. Пушкину. Он много сделал для благоустройства Воронежа – по его указанию были укреплены холмы и спуски к реке, на месте оврага, именуемого в просторечии “Волчьей ямой”, построен Каменный мост (на ул. Карла Маркса), вырыты первые колодцы, из которых вода добывалась с глубины 50 с лишним метров. В 1824 г. в доме у губернатора Н.И. Кривцова гостил поэт-романтик Дмитрий Владимирович Веневитинов (1805-1827).
В 1830-1836 гг. должность губернатора занимал Дмитрий Никитич Бегичев (1786-1855), брат декабриста С.Н. Бегичева. На посту губернатора он проявил себя как деятельный и гуманный администратор. При участии Д.Н. Бегичева в 1834 г. был составлен первоначальный проект памятника Петру I. Д.Н. Бегичев был дружен с А.С. Грибоедовым, В.К. Кюхельбекером, поэтом-партизаном, героем войны 1812 г. Д. Давыдовым, сестра которого была супругой Д.Н. Бегичева.
В 1859-1861 гг. особняк занимал губернатор граф Дмитрий Николаевич Толстой (1806–1884). Он увлекался публицистикой, подписывая свои статьи псевдонимом “Дмитрий Т. Знаменский”, оказывал поддержку местной периодической печати (в том числе газете “Воронежский телеграф”, журналу “Филологические записки”). Д.Н. Толстой покровительствовал поэту И.С. Никитину, в 1856 г. на средства графа был издан первый сборник стихов поэта с предисловием Д.Н. Толстого. И.С. Никитин был частым гостем “Дома губернатора”. Будучи заядлым театралом, граф Д.Н. Толстой являлся почитателем драматургии А.Н. Островского. Во время посещения Воронежа в 1860 г. А.Н. Островский встречался с Д.Н. Толстым в губернаторской резиденции.
В 1864-1871 гг. пост воронежского губернатора занимал Владимир Александрович Трубецкой (1820-1879) – племянник декабриста С.П. Трубецкого. Живя в Нижнем Новгороде, в 1840-1850-е гг. он помогал тогда молодому писателю и публицисту Н.А. Добролюбову.
История дома губернатора связана со многими известными общественно-культурными деятелями. В их числе представитель старинного дворянского рода, историк, археограф, литературовед, директор Румянцевского музея М.А. Веневитинов (1844-1901). По окончании историко-филологического факультета Петербургского университета он несколько лет прослужил чиновником особых поручений при воронежском губернаторе. Его кабинет располагался в губернаторском доме.
В середине XIX в. была произведена некоторая перестройка здания. Главный дом соединили с северным флигелем. В 1892-1893 гг. по проекту архитектора Станислава Людвиговича Мысловского была осуществлена радикальная реконструкция здания.
“Дом губернатора” служил местом проведения различного рода официальных мероприятий. 1 декабря 1900 г. здесь состоялось первое организационное собрание по открытию Воронежской учёной архивной комиссии – административного учреждения, ставшего одним из центров исторического краеведения. На заседании в числе учредителей присутствовали краеведы С.Е. Зверев, Л.М. Савелов, А.М. Правдин, городской врач К.В. Федяевский, писатель
Г.И. Недетовский. Председателем комиссии был избран писатель Е.Л. Марков.
После Февральской революции 1917 г. “Дом губернатора” получил название “Дом народных (общественных) организаций”, т.к. в здании разместились различные партийные, советские и общественные организации – военно-революционный комитет, Совет рабочих, солдатских и крестьянских депутатов, женсовет, редакции газет, штаб рабочих дружин города и так далее.
В октябре 1917 г. здание стало центром революционных событий. В этом доме 6-8 (19-21) октября 1917 г. состоялась первая Губернская партийная конференция, избравшая Воронежский губком РСДРП (б), об этом событии напоминает мемориальная доска, установленная на центральном фасаде здания. В ночь на 30 октября (12 ноября) 1917 г. в бывшем “Доме губернатора” был разработан план вооружённого восстания в Воронеже.
В 1920-е гг. часть здания была отдана под Дом крестьянина, а часть под губсовпартшколу (губернский рабоче-крестьянский Коммунистический университет – губкоммун). В 1921 г. здесь учился писатель, автор романа-антиутопии “Чевенгур” Андрей Платонович Платонов (1899-1951). В 1934 г. в здании располагалась областная публичная библиотека, а также музей изящных искусств, который часто посещал выдающийся русский поэт Осип Эмильевич Мандельштам.
Во время Великой Отечественной войны особенно сильно пострадала старая часть дома. При восстановлении в 1950 г. архитектор Николай Владимирович Троицкий объединил две разновременные части здания путём надстройки старой части и создания в центре подобия огромного антового портика.
В 1950-е гг. часть здания занимала областная комсомольская газета “Молодой коммунар”. Здесь работали поэт Алексей Тимофеевич Прасолов (1930-1972), писатель Владимир Александрович Кораблинов (1906-1989), очеркист Евгений Александрович Пульвер (1928-1983), фотокорреспондент, известный писатель-документалист Василий Михайлович Песков (род. 1930).
В 1987 г. здание было передано областному краеведческому музею. С 1993 г. южное крыло здания заняло федеральное казначейство, за фондами краеведческого музея сохранились помещения в северной части дома, расположенной вдоль ул. Чайковского. В 2007 г. помещения казначейства переданы Областному молодёжному центру.