Fort Monroe lag an der Hafeneinfahrt zu Norfolk und zur Chesapeake Bay. Dem Norfolk. Dem größten Marinestützpunkt der Welt (zumindest laut amerikanischen Militär) und Heimatbasis der atlantischen Flotte der USA. Der Marinestützpunkt lag genau gegenüber von Fort Monroe. Bereits 1609 wurde an dieser Stelle das Fort Algernourne gebaut. Daraus entstand später das Fort Monroe.
Bekannt wurde das Fort in 1861, knapp einen Monat nachdem bei Fort Sumter die ersten Schüsse des Bürgerkriegs gefallen waren. Das Fort gehörte zur Armee der Union, während Virginia Teil der Konföderation war. Als drei Sklaven in das Fort flüchteten, gab es ein Problem. Laut dem „Fugitive Slave Act“ hätten die drei Sklaven ihren Besitzern zurück gegeben werden müssen. Der Kommandant des Forts, Major General Benjamin Butler (im Zivilleben ein Jurist), argumentierte nun, dass Virginia nicht mehr zur Union gehörte und daher dieses Gesetz nicht anwendbar war. Außerdem wurden die Sklaven in der Konföderation als Eigentum betrachtet, daher betrachtete er die Sklaven als Kriegsbeute und behielt sie. Als sich das herum sprach, kamen ganze Gemeinden nach Fort Monroe sowie andere Stützpunkte der Unionsarmee und bildeten dort Lager, in denen sie Freiheit hatten.