Атауы аударғанда «Қасиетті кесене» дегенді білдіретін Мәзар-и-Шариф тарихы Ауғанстандағы ең қастерлі зиярат орындарының бірі — Көгілдір мешітпен тығыз байланысты. Қала жергілікті аңыздар бойынша Мұхаммед пайғамбардың күйеу баласы әрі немере інісі Әли ибн Әбу Талиб жерленген орынның айналасында бой көтерді.
Аңыз бойынша, жерленген орын XII ғасырда жергілікті молданың түсіне қабірдің нақты нұсқауы кіргенге дейін ғасырлар бойы жоғалған деп есептелген. Салжұқ сұлтаны Ахмад Санжардың бұйрығымен бұл жерде 1136 жылы алғашқы кесене тұрғызылып, оның айналасында біртіндеп ауыл қалыптаса бастады. Бастапқы құрылыс Шыңғыс хан шапқыншылығы кезінде қиратылды, бірақ XV ғасырда, дәлірек айтқанда 1481 жылы Хорасан билеушісі Хусейн Байқара жаңа, анағұрлым айбынды кешен салды, ол болашақ қаланың өзегіне айналды.
Қаланың өсуі мен дамуы бірнеше негізгі факторлармен айқындалды. Біріншіден, оның діни маңызы: ірі зиярат ету орталығына айналуы халықтың өсуіне және инфрақұрылымның дамуына ықпал етті. Екіншіден, ежелгі керуен жолдарының қиылысындағы тиімді орналасуы Мәзар-и-Шарифті Хорасан мен Мәуереннахр аймақтарын байланыстыратын солтүстік Ауғанстанның маңызды сауда орталығына айналдырды. Ақырында, XIX ғасырда көршілес ежелгі Балх қаласы құлдырағаннан кейін, Мәзар-и-Шариф аймақ астанасы рөлін өзіне алды, бұл оның әкімшілік және экономикалық мәртебесін нығайтты.
Ең басынан бастап қаланың мәдени және экономикалық өмірі Көгілдір мешіттің айналасына шоғырланды. Бұл оның рухани орталық ретіндегі бейнесін айқындады. Экономика зияратшыларға қызмет көрсетумен және саудамен тығыз байланысты болды: мұнда мешітті күтіп ұстауға және безендіруге, сондай-ақ көптеген қонақтардың қажеттіліктеріне қажетті қолөнер түрлері өркендеді. Базарлар мен керуен сарайлар қала пейзажының ажырамас бөлігі болды, бұл Мәзар-и-Шарифті әртүрлі халықтар мен мәдениеттердің өкілдері кездесетін жанданған және көпұлтты орталыққа айналдырды.