此前，周为雍州之地，春秋以前为西戎占据，秦为月氏驻牧地。
西汉文帝前元六年（前174年）匈奴占领河西，匈奴族建立改臧城，而后休屠王在谷水建立休屠（屠各）城。
西汉元狩二年（前121年），汉武帝派骠骑将军霍去病远征河西，击败匈奴。
此后，西汉政府在河西走廊设郡置县，为彰显大汉帝国的武功军威，在原休屠王领地置武威郡，武威由此得名。
但《汉书·武帝纪》称武威郡与酒泉郡皆为元狩二年（前121年）置，《汉书·地理志》却称其为太初四年（前101年）所“开”，两说彼此矛盾。
此外，《史记》《汉书》中还有多处与以上记载相抵触的史料。
当代学术界亦无定论，有昭宣时代设立、元鼎初年(前116—前115年)设立等不同说法。
武威郡隶属凉州刺史部，领姑臧、张掖、武威、休屠、揟次、鸾鸟、扑擐、媪围、苍松、宣威共10县，以姑臧（今凉州区）为治所。
原来的历史上东汉献帝兴平元年（194年）6月，重置雍州，武威郡为雍州州治，领14县，为姑臧、张掖、武威、休屠、揟次、鸾鸟、扑擐、媪围、宣威、仓松、鹯阴、祖厉、显美、左