История Кума уходит корнями в глубокую древность, задолго до прихода ислама. Археологические находки, сделанные в этом регионе, свидетельствуют о существовании здесь поселений еще в V тысячелетии до нашей эры. Иранская историческая традиция приписывает основание города сасанидскому царю Каваду I, который правил на рубеже V и VI веков. Наличие руин зороастрийского храма огня сасанидской эпохи также подтверждает, что Кум был значимым населенным пунктом еще в доисламский период. После арабского завоевания Персии в VII веке город был восстановлен и начал новую главу своей истории, быстро превратившись в важный центр, особенно при правлении династии Аббасидов во второй половине VIII века.
Ключевую роль в возвышении Кума сыграли религиозные и политические факторы. После арабского завоевания город стал убежищем для шиитов и других оппозиционных групп, преследуемых в халифате, что способствовало формированию его уникальной идентичности как оплота шиизма. Поворотным моментом в истории города стала смерть и захоронение здесь в 816 году Фатимы аль-Масуме — сестры восьмого шиитского имама Резы. Её мавзолей превратил Кум в одно из главных мест паломничества для шиитов, уступая в Иране лишь Мешхеду. Город получил дополнительный импульс к развитию в XVI веке при династии Сефевидов, которые объявили шиизм государственной религией и всячески поощряли паломничество к внутренним святыням страны, включая Кум. Также его росту способствовало и географическое положение: расположенный на реке Кум, примерно в 150 км к югу от Тегерана, город находился на пересечении важных путей, что было выгодно, несмотря на засушливый климат.
С самого начала своего исламского периода Кум развивался как центр религиозной мысли и образования. Приток арабских шиитских переселенцев придал городу особый культурный облик. Несмотря на разрушения во время монгольских и тимуридских нашествий, город каждый раз возрождался. Уже в XV веке путешественники описывали его как «небольшой, но красивый город с хорошими базарами и изобилием всего». Помимо своего религиозного значения, Кум был известен как центр кустарных ремёсел, в частности ковроткачества и производства керамики.