Территория современного Кимдже имеет богатую историю, уходящую корнями в доисторические времена. Однако как значимый центр поселение начало формироваться в эпоху Трех корейских государств. Изначально эти земли входили в состав племенного союза Махан, а позднее стали частью государства Пэкче под названием Пёкколь-гун. Свое нынешнее имя город получил в 757 году, во время правления короля Кёндока в эпоху Объединенного Силла, что закрепило его статус важной административной единицы.
Ключевую роль в становлении города сыграли уникальный ландшафт и раннее развитие инженерной мысли. Кимдже расположен в сердце равнины Хонам — редкой для гористой Кореи обширной плоской местности, идеально подходящей для земледелия. Поворотным моментом стало строительство водохранилища Пёккольдже в 330 году н.э. Это древнейшее ирригационное сооружение Кореи позволило превратить регион в главную житницу полуострова.
Культурная и экономическая жизнь Кимдже веками формировалась вокруг аграрных циклов и выращивания риса. Символично само название города: иероглифы, из которых оно состоит, означают «золото» и «дамба». Это образное описание бескрайних полей созревшего риса, напоминающих золото, и жизненно важных гидротехнических сооружений, обеспечивающих процветание региона.