История Сан-Карлоса уходит корнями в эпоху испанской колонизации Калифорнии. Территория современного города изначально была частью обширного земельного гранта Ранчо де лас Пульгас (Rancho de las Pulgas), пожалованного испанской короной Хосе Дарио Аргуэльо в конце XVIII века. До прибытия европейцев эти земли населяли коренные народы олони. Свое название поселение получило в честь испанского пакетбота San Carlos — первого корабля, вошедшего в залив Сан-Франциско в 1775 году. Официальная инкорпорация города произошла значительно позже, в 1925 году, когда местные жители проголосовали за создание независимого муниципалитета.
Превращение бывших пастбищ в развитый город было обусловлено рядом стратегических преимуществ, главным из которых стало строительство железной дороги Southern Pacific. Появление станции позволило быстро добираться до Сан-Франциско, превращая район в привлекательный пригород. Огромную роль сыграл и географический фактор: Сан-Карлос находится южнее знаменитого «пояса туманов» (Fog Belt), характерного для Сан-Франциско и Дейли-Сити, что обеспечило городу мягкий и солнечный климат, привлекающий новых жителей.
В ранний период экономика региона опиралась на сельское хозяйство, но в начале XX века началась активная нарезка земель на участки под жилую застройку. Уже на этапе становления сформировалась главная культурная особенность города, закрепленная в его официальном девизе — «Город хорошей жизни» (The City of Good Living). Первые планировщики делали ставку на создание уютного, безопасного сообщества с качественными школами и просторными домами, что определило характер Сан-Карлоса на десятилетия вперед.