Первое упоминание о Хаарлеме относится к 9 веку. Сначала это было небольшое поселение, но благодаря удачному расположению — недалеко от реки Спарны и большого пути, связывающего север и юг — в 12 веке поселок превратился в укрепленный город, который Голландские графы в 12 веке сделали своей резиденцией. В 1245 года граф Вильгельм IIпожаловал Хаарлему статус города, что означало получение ряда привилегий. В конце 14 века вокруг города была воздвигнута стена высотой в 16.5 метров и вырыт канал 15-метровой ширины. В 14 веке Хаарлем был крупным городом. Он был вторым по величине в Голландии после Дордрехта, превосходя Дельфт, Лейден, Амстердам, Гауду и Роттердам.
Основные достопримечательности города: Центральная рыночная площадь Гроте-Маркт вместе с ратушей (14 век), мясными рядами (около 1600 г.), домом городской стражи (13 век), церковью Св. Бавона (14 век), Ворота (14 век), Новая церковь или церковь Св. Анны (17 век), Католический собор святого Бавона (1895—1930 гг.), железнодорожный вокзал (начало 20 века в стиле ар-деко).