Гаррисмит был основан в 1849 году по инициативе сэра Гарри Смита, губернатора Капской колонии, чье имя и носит город. Изначально поселение задумывалось как стратегический форпост для контроля над регионом, однако со временем его роль значительно изменилась, превратив военный пункт в важный гражданский центр.
Развитию города способствовало удачное географическое положение у подножия столовой горы Платберг на берегу реки Вилге, что обеспечивало жителей водой и естественной защитой. Гаррисмит стал ключевым транспортным узлом на оживленном торговом пути, связывающем порт Дурбан сначала с алмазными месторождениями Кимберли, а позднее — с золотыми приисками Витватерсранда.
Экономика поселения быстро укрепилась благодаря обслуживанию транспортных потоков и сельскому хозяйству, превратив город в региональный центр торговли шерстью и скотом. Примечательно, что благодаря здоровому климату и чистому горному воздуху уже в конце XIX века Гаррисмит начал привлекать первых путешественников, искавших оздоровления, что заложило фундамент его туристической привлекательности.