Tem forma circular e mora no Battery Park, o jardim com perto de 10 hectares de área que podemos encontrar no topo Sul de Manhattan. O Castle Clinton foi construído entre 1808 e 1811, numa pequena ilha artificial muito perto da costa, integrando então as linhas de defesa da cidade. Com o tempo não só foi integrado em terrenos conquistados às águas como foi conhecendo novas funções. Foi um teatro, um aquário e, antes das instalações em Ellis Island (ali mesmo à sua frente) serviu de posto de acolhimento e triagem às multidões de emigrantes que chegavam à cidade. Entre outros ali chegaram, Harry Houdini, Nicola Tesla ou Joseph Pulitzer.
Hoje o Castle Clinton é um monumento nacional (e um dos raros espaços da cidade onde podemos encontrar memórias tão remotas). É ali que se compram os bilhetes para os ferrys que nos podem levar a Ellis Island e à Estátua da Liberdade.