Schon die Römer nutzten den Castle Hill, der North Bay von South Bay trennt, für einen Signalturm. Das normannische Scarborough Castle stammt aus dem 12. Jh., wurde aber im Bürgerkrieg und im Ersten Weltkrieg stark beschädigt. Von den Mauern genießt man eine grandiose Aussicht.
