Mitte des 19. Jh. schickte sich Port Townsend an, zum größten US-amerikanischen Hafen am Pazifik zu werden. Man sah sich gar auf dem Weg zum ›New York des Westens‹. Als aber gegen Ende des 19. Jh. die Eisenbahn nach Seattle und nicht nach Port Townsend geführt wurde, versank das Städtchen in einen Dornröschenschlaf. Weil fortan das Geld für Neubauten fehlte, prägen bis heute viktorianische Gebäude aus der Zeit um 1890 das Stadtbild. Besonders markant ist die einstige City Hall, deren Backsteintürmchen und Fensterbögen Gotik und Romanik zitieren.
Das Museum der Jefferson County Historical Society zeigt, wie lebhaft es hier während der Blütezeit der Stadt zuging.
Die im Jahr 1868 erbaute Kaufmannsresidenz Rothschild House ist im Stil des 19. Jh. eingerichtet und kann besichtigt werden.
