Музей возник на основе частной коллекции графа и дипломата Николая Петровича Румянцева. Крупный государственный деятель и меценат Н. П. Румянцев при жизни собрал внушительную коллекцию произведений живописи и скульптуры, а также большое собрание редких книг, монет, рукописей, археологических и этнографических материалов по истории России. Так, в собрании было свыше двадцати восьми тысяч книг и более семисот рукописей. Характерно, что на многих томах из румянцевской коллекции имелась надпись, сделанная владельцем лично: «Беречь как глаза».

Примечательно, что Н. П. Румянцев вошёл в историю нашей страны также как один из организаторов первой русской кругосветной экспедиции И. Ф. Крузенштерна и Ю. Ф. Лисянского. Именно на средства мецената была проведена эта масштабная морская экспедиция.

Н. П. Румянцев умер в 1826 году, не оставив письменного завещания относительно своей коллекции. Мечтой мецената было создание национального музея на основе своего частного собрания. В скором времени вышел указ императора Николая I «О приеме в ведомство Министерства народного просвещения Румянцевского Музеума и о правилах, по коим заведение сие должно быть управляемо».

Экспонаты румянцевского особняка в Санкт-Петербурге были открыты для публичного обозрения в ноябре 1831 года. Надпись над входом в музей гласила: «на пользу Отечеству и благое просвещение». Первым директором музея стал известный русский писатель и музыковед В. Ф. Одоевский, а первым библиотекарем – видный учёный-славист А. Х. Востоков.

В 1861 году император Александр II своим указом переводит Румянцевский музей в Москву. В Москве музей разместили в доме Пашкова – знаменитом творении прославленного русского архитектора В. И. Баженова.

Под руководством архитекторов Н. В. Дмитриева и К. К. Рахау Пашков дом был реконструирован для размещения музейных фондов. В здании манежа был размещён читальный зал и книгохранилище, второй этаж главного корпуса был отдан для экспозиции иностранной живописи, на третьем этаже разместился отдел русской живописи, куда вошла, в том числе, картина А. А. Иванова «Явление Христа народу», а также более двухсот полотен из собрания Эрмитажа.

В июле 1862 года книжный фонд Румянцевского музея был реорганизован в библиотеку. Всего, в музее было образовано восемь отделений: рукописей, старых книг, древностей, минералогический, зоологический, нумизматический, этнографический, изящных искусств и библиотека. Собрание музея регулярно пополнялось за счёт приобретения коллекций частных лиц. Среди дарителей были члены императорской семьи, представители российских купеческих родов, учёные и академики. По словам директора музея Н. В. Исакова «Румянцевский музей создавался в Москве так, как создаются храмы Божии – без всяких средств, только жертвами милостивцев».

В 1913-1914 годах архитектор Л. Н. Шевяков построил новую картинную галерею с Ивановским залом,  книгохранилище. В 1915 году был открыт и читальный зал на триста мест.

С приходом советской власти здание музея и его библиотека были переданы учрежденной на её основе Государственной библиотеке СССР им. В. И. Ленина. Румянцевские коллекции были переданы другим музеям.  Полотна европейских художников были переданы в Музей изящных искусств (ныне Государственный музей изобразительных искусств им. А. С. Пушкина), собрание отечественной живописи – в Третьяковскую галерею, предметы из золота и серебра – в Государственное хранилище ценностей (Гохран), а также Государственный исторический музей, центральный музей народоведения и ряд других музеев.