还居住在祁连山，没有逃到其他地方，这些留下来的残部就成了小月氏。
匈奴人干掉了大月氏，小月氏是大月氏的残部，而且匈奴人还用他们的王头颅做酒杯，所以小月氏与匈奴人有仇，但小月氏毕竟是残部，已经没了实力与匈奴人厮杀，他们就与羌人通婚，依附在羌人身上，但这都是汉武帝那个时候的事情，后来匈奴勾结羌人与大汉朝对着干，汉宣帝时着实把羌人揍了个凄惨，依附羌人的小月氏也同时倒了霉，全都被汉宣帝给打趴下了，就把与匈奴人有仇的小月氏扔到了居延泽，让小月氏直接顶在匈奴人面前，这与乌丸人顶在鲜卑人面前的性质一样。
小月氏与匈奴有灭国之仇，漠北草原匈奴人想南下杀入河西四郡，一处是杀入居延泽，沿着弱水南下，直接杀入张掖治所觻（lu）得城、酒泉治所禄福城，另一处是杀入休屠泽，沿着卢水直接南下杀入武威郡姑臧城。而这两个地方的胡人就是小月氏和卢水胡，也就是湟中义从胡的前身。
当年冒顿单于击败了大月氏时，一些逃散的小股月氏人藏在祁连山脉里面躲藏，而这里是河西四郡与河湟谷地连接的地方，有一条古道可以连接，当年汉武帝遣张謇出塞时，走的就是这条道路，是经西宁城向北走长宁谷（北川河谷），在这条