浑怀障是迄今已知市境内最早的古代建置。秦始皇33年(公元前214年)，秦将蒙恬北逐匈奴，收河南地(今黄河河套西北地区)，设44县，筑长城，设亭障，御匈奴，在今平罗县境（今兵沟汉墓附近）设浑怀障。