燕昭王二十九年（前283）秦开却东胡，始置上谷郡，筑燕长城西起郡内之造阳地，以抵御北疆。

秦始皇统一六国后，沿用上谷郡建置，为三十六郡之一。

汉代延置，汉高帝分上谷郡地一部分置涿郡，属幽州刺史部，初辖县十二，后增至十五县，户三万六千八百，口十一万七千七百六十二，是汉朝与匈奴争夺的重点，置左右两都尉。

新朝王莽改上谷郡为朔调郡。

东汉恢复上谷郡制，下辖县八，户一万零三百五十二，口五万一千二百四四十，至东汉末年，鲜卑乌桓等部族在此地活动。

三国时期，上谷郡属魏国，仍属幽州，移治居庸县。

晋太康三年，分上谷郡置广宁郡，上谷郡统县二，户四千七十，归治沮阳县。

西晋经历永嘉之乱后，上谷郡先后归属后赵、前燕、前秦、后燕，至北魏初废，后复置，下辖平舒、居庸二县，户九百四十二、口三千九十三，北齐沿置后废。

隋炀帝大业元年，改易州置上谷郡，统县六，户三万八千七百。

唐朝废郡置州，以故上谷郡地置妫州，隋上谷郡地置易州。

秦始皇统一中国后，分天下为三十六郡，上谷郡（治沮阳县，今河北怀来东南怀来县大古城北7里）亦名列其中。郡设郡守，也称郡将，本为武官，后渐为地方行政长官。

汉景帝中元二年（公元前148年），改称太守，太守之下设郡丞和郡尉，分管民事和军事。汉代飞将军李广就曾任上谷太守。秦汉时期，上谷郡下辖十六个县（汉弃斗辟县后为十五个）。属幽州刺史部。王莽夺取皇位，改上谷郡为朔调郡。三国曹魏时郡治曾移至居庸，大古城仍为沮阳县治所；西晋时上谷郡治又迁回沮阳。

后又属于五胡十六国中的后赵、前燕、前秦、后燕诸朝，上谷郡辖地范围虽几经变化，但郡治城却一直沿用。南北朝时期，北魏改上谷郡为平原郡，仍与沮阳县同治。北魏以后上谷郡与沮阳县从记载中消失。据史料记载：北魏末年，北方六镇爆发了声势浩大的边民起义，特别是孝明帝正光六年（525年），柔玄镇人杜洛周发动的上谷郡农民起义，以“真王”为年号，攻克燕州（今涿鹿），并一路南下，先后占领涿州、定州。

上谷郡城很有可能毁于这次农民起义的战火，以致废弃。由此推算，上谷郡城自战国燕昭王时始设，一直到北齐末居遭受突厥多次摧残，无复人迹。共经七个大的历史时期，10个封建王朝，历860年。