Историю дома Барышникова удается проследить с 1757, хотя сам дом включил более ранние части – старейшие относятся к XVII в. В это время (при владельце князе А. И. Кольцове-Масальском) участок был по размерам таким же, как и полтораста лет спустя и имел редкую для Москвы правильную форму. Между 1797 и 1802 по проекту архитектора М. Ф. Казакова было выстроено новое, ныне существующее здание в форме открытого к улице каре, включившего палаты конца XVII — начала XVIII в. и корпус 1790-х.

Зодчий мастерски соединил ясность и строгость осевой композиции с живописностью выразительных перспектив, создаваемых колонными галереями вдоль боковых крыльев (утрачены). Они оформляли глубокий двор и подводили к центральной части здания с сильно вынесенным и поднятым на 1-й этаж коринфским портиком.

Стремление к живописности и динамичности пространства ещё ярче проявилось в компоновке и оформлении парадных помещений дворца. Скруглённые колоннады прямоугольных залов создают богатую светотеневую игру, подчёркивая высветленную гамму живописных плафонов. Интерьер отделан искусственным мрамором и рельефами. Служебные корпуса усадьбы Барышникова формируют ряд примыкающих к дворцу замкнутых дворов.

Майор И. И. Барышников (1749–1834) был первым владельцем усадьбы. Его именем назвали переулок, на который выходила задняя часть усадьбы. Сейчас это – переулок Огородная Слобода.

После Отечественной войны 1812 владельцем усадьбы стал С. Н. Бегичев. У него в 1823—1824 жил, работал над комедией «Горе от ума» и написал один из своих знаменитых вальсов А. С. Грибоедов. Здесь часто бывали В. К. Кюхельбекер, Д. В. Давыдов, В. Ф. Одоевский, А. Н. Алябьев и др.

Со второй половины XIX в. в доме размещалось Мясницкое отделение больницы для чернорабочих, с 1910 — Мясницкая городская больница. В 1930-е усадьбу реставрировали по проекту архитектора С. Ф. Кулагина.

Сейчас здание занимает издательский комплекс «Аргументы и факты». Дом-усадьба Барышникова является архитектурным памятником XVIII в. и находится под охраной государства.