История Кроули уходит корнями в саксонский период, хотя точная дата основания поселения неизвестна. Название города происходит от староанглийского словосочетания, означающего «воронья поляна» или «лесная просека, где собираются вороны». Важной вехой в летописи стало получение официального права на проведение еженедельного рынка в 1202 году, что юридически закрепило за Кроули статус развивающегося поселения.
Развитие города было во многом предопределено его удачным географическим положением на главной дороге, соединяющей столицу с южным побережьем. Расположение в лесистой местности Уилд (The Weald) обеспечивало доступ к древесине и другим ресурсам, а с появлением системы платных дорог в XVIII веке город стал ключевой остановкой для почтовых карет, курсирующих между Лондоном и Брайтоном.
Экономика старого Кроули до его масштабного расширения в XX веке опиралась на несколько традиционных сфер. В средние века регион славился кузницами и железоделательным ремеслом благодаря местным залежам руды. Будучи популярным местом отдыха для путешественников, город был известен своими постоялыми дворами, о чем напоминает историческая гостиница The George. Кроме того, регулярные ярмарки служили важным местом встречи для фермеров и ремесленников со всего графства Западный Сассекс.