Het huis is één in een rijtje van vier winkel- en koopmanshuizen die in 1671 gebouwd werden: nummers 413-419. Het linker buurpand, nummer 415, is nog het meest in originele staat. Dit huis op 417 kreeg in 1897 een nieuwe indeling van de verdiepingen en een nieuwe voorgevel.
De als architect genoemde Hartkamp was vooral actief als makelaar.
Eerste bewoners waren A.A. Ganderheyden en zijn vrouw P.J.E.B. Ganderheyden-la Bree. Hij werkte als assistent in de universiteitsbibliotheek. In 1900 kregen ze hier een zoon.
Na enkele andere gebruikers zat hier vanaf 1924 Maison Costerus, een dameshoedenwinkel met atelier gedreven door de dames Triebels & Schoor. Maria Petronella Alida Triebels (1890-1971) en Johanna Jacoba Schoor (1885-1957) waren allebei modiste. Ze woonden en werkten hier tot circa 1947. Ze liggen nu samen begraven in Bilthoven.
Sinds 2010 zijn hier opnieuw hoedenmakers gevestigd.
Keizersgracht 417
Er zijn 17 afbeeldingen in de beeldbank van het Stadsarchief die gerelateerd zijn aan dit adres.