Muziejaus pastato pirminė paskirtis buvo geležinkelio stotis Gare d’Orsay, pastatyta kelyje Paryžius–Orleanas ir baigta 1900 m., kaip tik Pasaulinės parodos (Exposition Universelle) atidarymo proga. Jos statyboje dalyvavo trys architektai: Lucien Magne, Émile Bénard ir Victor Laloux. Stotis tarnavo, kaip terminalas pietvakarių Prancūzijos geležinkelyje iki 1939 m.
Iki 1939 m. stoties trumposios platformos tapo nepatogios ilgiems traukiniams, todėl šie perėjo prie tiesioginio aptarnavimo. Po 1939 m.stotis naudota priemiesčių aptarnavimui, o jos dalis per Antrąjį pasaulinį karą tapo pašto centru. Vėliau pastatas naudotas, kaip filmavimo aikštelė, pavyzdžiui, jame filmuotas Kafkos romano motyvais paremtas filmas „The Trial“, kurį adaptavo Orson Welles. Vėliau priklausė Renaud–Barrault teatro kompanijai, o dar vėliau buvo aukciono vieta, kol buvo perstatomas „Hôtel Drouot“.
1970 m. gautas leidimas stotį nugriauti, bet Prancūzijos Kultūros ministras Jacques Duhamel buvo priešiškas ketinimams stoties vietoje statyti naują viešbutį. Tad stotis papildomai įtraukta į Istorinių pastatų sąrašą, o galiausiai į jį įrašyta 1978 m. Pasiūlymas paversti stotį muziejumi kilo Prancūzijos muziejų direktoratui. Buvo sumanyta pastatyti muziejų, kuris būtų tarsi tiltas tarp Luvro ir Nacionalinio modernaus meno muziejaus (Žoržo Pompidu centro). Šį planą sugalvojo Georges Pompidou ir tam tikslui įvykdyti 1974 m. pavesta komisijai. 1978 m. organizuotos varžybos sukurti naują muziejų. „ACT Architektūra“, trijų jaunų architektų grupė (Pierre Colboc, Renaud Bardon and Jean-Paul Philippon) buvo apdovanota kontraktu, kuris apėmė 20 000 m², tuo pačiu įrengiant naujas grindis keturiems aukštams. Statybos darbai vykdyti kompanijos „Bouygues“.1981 m. interjerui sukurti (įskaitant, vidaus įrengimus, puošybą, baldus ir muziejaus pritaikymą) pasirinktas italų architektas Gae Aulenti. Galiausiai 1986 m. liepos mėnesį muziejus buvo paruoštas priimti ekspozicijas. Eksponatų atgabenimas užtruko 6 mėnesius, per kuriuos sulaukta daugiau nei 2000 paveikslų, 600 skulptūrų ir kitų darbų. Muziejus oficialiai atidarytas 1986 m. gruodžio 9 d. šalies prezidento François Mitterrand. Jis užima 57 400 m² plotą, o 2007 m. jį aplankė 3,2 mln. lankytojų.
Edgar Degas – 43 paveikslai, įskaitant, Paradas, taip pat žinomas kaip Žirgų lenktynės priešais tribūnas, Bellelli šeima, Kubilas, Eduaro Manė portretas, Portretai akcijų biržoje, Absentas
Paul Cézanne – 56 paveikslai, įskaitant, Obuoliai ir apelsinai
Claude Monet – 86 paveikslai (didžioji kolekcijos dalis yra Musée Marmottan Monet), įskaitant Saint-Lazare stotis, Montorgueil gatvė Paryžiuje. 1878 m. birželio 30 d. šventė, Vėjo poveikis, iš serijos tuopos, Ruano katedra. Žydroji harmonija, Žydrosios vandens lelijos
Alfred Sisley – 46 paveikslai, įskaitant Potvynis Port-Marly
Maurice Denis – Aštoniolikmečio menininko portretas, Princesės Maleinos minuetas ar Marta skambina pianinu, Žalieji medžiai arba bukmedžiai Kerduely, Spalio naktis (panelis papuošti mergaitės kambarį)
André Derain – Charing Cross tiltas, taip pat žinomas kaip Vesminsterio tiltas