Mitte des 19. Jh. schickte sich Port Townsend an, zum größten US-amerikanischen Hafen am Pazifik zu werden. Man sah sich gar auf dem Weg zum ›New York des Westens‹. Als aber gegen Ende des 19. Jh. die Eisenbahn nach Seattle und nicht nach Port Townsend geführt wurde, versank das Städtchen in einen Dornröschenschlaf. Weil fortan das Geld für Neubauten fehlte, prägen bis heute viktorianische Gebäude aus der Zeit um 1890 das Stadtbild. Besonders markant ist die einstige City Hall, deren Backsteint