История Мутаре неразрывно связана с эпохой европейской колонизации и «золотой лихорадкой» конца XIX века. Город был основан в 1890 году как Форт-Умтали британскими искателями приключений и концессионерами. Название «Умтали» сохранялось до 1982 года. Само же слово «мутаре» на местном наречии означает «кусок металла», что напрямую указывает на причину основания поселения — открытие месторождений золота в долине между реками Цамбе и Мутаре.
Ключевым фактором становления города стала его уникальная география. Расположенный на востоке Зимбабве, всего в нескольких километрах от границы с Мозамбиком, Мутаре стал важным торговым и транспортным узлом. Его развитие ускорилось после того, как Сесиль Родс проложил через эти земли железнодорожную линию, соединяющую Булавайо с портом Бейра на побережье Индийского океана. Интересно, что город дважды менял своё местоположение: в 1891 году и затем в 1896 году, когда его вернули на первоначальное место для удобства обслуживания железной дороги. Этот район сегодня известен как «Старый Мутаре».
С самого начала экономика Мутаре была ориентирована на добычу полезных ископаемых и сельское хозяйство. Благоприятный климат и стратегическое положение в так называемом «Бейрском коридоре» способствовали превращению его в процветающий центр. В 1914 году поселение получило права общины, а в 1971 году — полноценный статус города, что закрепило его роль как административного и экономического центра провинции Маникаленд.