Scarborough egy üdülővároska Yorkshire tengerpartján, több homokos stranddal, a hegytetőről a városra és a tengerre tekintő középkori várrommal, színes házakkal és sok-sok lépcsővel a meredek domboldalban.
A tengerre nyíló kedvező kilátást már az ókori rómaiak is felismerték. Ők őrtornyot építettek ide, ahonnan folyamatosan fürkészhették a távoli horizontot. Róma bukása után az őrtotony az enyészeté lett, helyén később kápolna épült. Egy izlandi krónika szerint, a viking hódítások idején, 1066-ban a norvég király, Harald Hardrada támadta meg és foglalta el a várost, amelnyek neve az ősi viking nyelvből vezethető le „Skardi erődje” jelentéssel. Ám igen valószínú, hogy 13. századi krónika története csak kitaláció, hiszen viking településre utaló régészeti leletet nem találtak, és a Scarborough név angol-szász eredettel is magyarázható „domb erőddel” jelentéssel.
Mivel Hódító Vilmos egész angliára kiterjedő felmérésben, a Domesday könyvben, meg sem említik, nem valószínű, hogy a 11. században jelentős település lett volna e helyen. Az első egyértelmű írásos bizonyíték a város létezéséről a 12. századból, II. Henrik idejéből való. Bár a várat eredetileg nem ő, hanem egyik vazallusa építette, azt trónra kerülésekor megszerezte, és jelentős átalakításokat is végzett rajta. Ettől kezdve Scarborough az egyik legjelentősebb királyi várrá vált, egészen a skót származású I. Jakab 1603-as trónra kerüléséig, aki egyesítette Skóciát és Angliát. Az egyesülés után skót támadásoktól már nem kellett tartani, így az északi várak fenntartása szükségtelenné vált.
A vártorony mostani romos formáját az angol polgárháborúban szerezte, melynek során hol a királyi, hol a parlamenti erők kezébe került. Az utolsó ütközet során, 1644-ben a parlament csapatai ágyúzták a várat, és ekkor omlott össze a torony fele.
Érdekesség, hogy II. Eduárd kegyeltje, egyes történészek szerint szeretője, Piers Gaveston 1312-ben ide, Scarboroughba menekült irigyei, az udvar feldühödött lordjai elől. Támadói megígérték, hogy megkímélik életét, ha elhúzza a csíkot az országból. Így megadta magát, csak éppen a lordok nem tartották be ígéretüket és lekaszabolták. Amúgy állítólag I. Jakab is homokos volt.