История современного Армидейла уходит корнями в 1830-е годы, когда европейские поселенцы начали активно осваивать плодородные земли региона Новая Англия. Свое имя город получил благодаря уполномоченному по коронным землям Джорджу Джеймсу Макдональду. Он назвал растущее поселение в честь родового поместья своей семьи, расположенного на живописном острове Скай в Шотландии. Официально Армидейл был признан городом в 1849 году, а уже в 1885 году получил статус «сити», окончательно закрепив свою значимость в регионе.
Экономический расцвет Армидейла опирался на удачное географическое положение и природные богатства. Обширные пастбища Северного плоскогорья создали идеальные условия для овцеводства, и производство тонкорунной шерсти быстро стало фундаментом местного благосостояния. Мощный импульс развитию также придала золотая лихорадка 1850-х годов: обнаружение золота в окрестностях, в частности на реке Роки-Ривер, вызвало резкий приток населения и капитала, что способствовало бурному росту торговли и сферы услуг.
К концу XIX века, особенно после открытия железнодорожного сообщения с Сиднеем в 1883 году, Армидейл начал формировать свой уникальный имидж культурного и духовного центра. Значительные доходы от сельского хозяйства и добычи ископаемых позволили вести активное строительство. Возведение величественных англиканского и католического соборов подарило Армидейлу неофициальное название «город соборов», а развитие сети престижных школ заложило основу для его будущей репутации как важного университетского и образовательного центра Австралии.