Met de slechting van de vestingwallen in de loop van de negentiende eeuw kwam daar ruimte voor grote militaire gebouwen. Zo verrezen in de buurt van de Oranje-Nassaukazerne (uit 1814): de Cavaleriekazerne (1864), Militair Hospitaal (1870), Rijkskledingmagazijn (1875) en het Rijksmagazijn van Geneesmiddelen (1889).
Vanaf 1880 werd gebouwd aan de Stelling van Amsterdam, vooral ver buiten de stad maar ook binnen de huidige gemeentegrenzen.
De marine huisde vanouds op Kattenburg, waar een grote scheepswerf was. De werf werd in 1915 gesloten maar het terrein bleef in gebruik bij de marine. Het magazijn van de werf huisvest sinds 1973 het Scheepvaartmuseum.
Vanaf ongeveer 1900 werd een deel van het Buiten-IJ aangeplempt en tot militair terrein aangewezen: het huidige Zeeburgereiland. Er waren exercitieterreinen, schietbanen en een vliegkamp voor watervliegtuigen van de marine. Voor zover bekend resteert Ć©Ć©n gebouwtje van al die militaire activiteiten op het eiland.