Городской парк Олив-Бранч носит имя, хранящее богатую и интересную историю. Изначально местность, где сейчас раскинулся парк и одноименный город, была известна под названиями «Каупенс» (Cowpens), а затем «Перекресток Уотсона» (Watson's Crossroads). Это место имело стратегическое значение, поскольку находилось на пересечении нескольких старых индейских троп племени чикасо. Своё нынешнее, более символичное название, Олив-Бранч (Оливковая ветвь), община получила в 1846 году с открытием первого почтового отделения. Инициатором этого имени стала миссис Фрэнсис Уилсон Блокер, потомок одного из основателей поселения. Она верила, что это название символизирует мир и надежду, подобно голубке, принесшей оливковую ветвь Ною после Всемирного потопа.
Среди первых европейских поселенцев, начавших осваивать эти земли, были Стивен Флинн и его шурин Милтон Блокер. Они приобрели участки 34 и 35 округа ДеСото у вождя племени чикасо Лаш-пун-табби за 1600 долларов. Предполагается, что именно Милтон Блокер стоял у истоков первого коммерческого предприятия в деревне — хлопкоочистительной машины, приводимой в движение мулами, что дало толчок экономическому развитию будущего города. К сожалению, жизнь Милтона Блокера трагически оборвалась: в 1847 году он погиб в результате взрыва котла на пароходе «Медора», когда направлялся по реке Миссисипи в Новый Орлеан для продажи хлопка.
Официальное основание города Олив-Бранч состоялось несколько позже. В апреле 1873 года обе палаты законодательного собрания штата Миссисипи приняли Акт о включении города Олив-Бранч, который затем был подписан губернатором. Первым мэром новообразованного города был избран мистер Бен Ф. Вессон, прослуживший на этом посту один срок, до 1877 года. Впоследствии, с 1880 по 1888 год, он также занимал должность почтмейстера города, продолжая вносить свой вклад в развитие общины. Сегодня Городской парк Олив-Бранч является не только местом отдыха, но и своеобразным напоминанием об этих исторических событиях и людях, стоявших у истоков города.