Het Fragmentengebouw uit 1890-1898, ontworpen door Pierre Cuypers. Erin zijn fragmenten verwerkt van gesloopte Nederlandse bouwwerken. De basis voor het gebouw komt uit Franeker, van de Ockingastins aldaar. Ook de Waterpoort van Gorinchem is in het Fragmentengebouw verwerkt.
In het openingsjaar werd in het gebouw een tentoonstelling gehouden over de familie Oranje-Nassau, vermoedelijk ter gelegenheid van de inhuldiging van Wilhelmina in dat jaar. Daarna werd de collectie moderne kunst van het museum er ondergebracht.
Het Fragmentengebouw en de Druckeruitbreidingen uit 1909 en 1919 vormen samen de zuidvleugel, die tegenwoordig de sponsornaam Philipsvleugel heeft.
In de tuin bij het Fragmentengebouw staan diverse andere poorten.
Fragmentengebouw. Hobbemastraat bij 19