遣子入朝侍奉，曹操暂无西顾之忧。当时，匈奴单于作乱平阳，钟繇等进攻围剿，不克，且郭援大军已至河东，并再次勾结韩遂、马腾等。钟繇派张既去游说马腾等军阀，张既给马腾等人分析利害关系，马腾等人被说服归顺了曹操，马腾派儿子马超带领一万多人马，会同钟繇的部队攻击郭援，把对方打得溃不成军，郭援被斩首，匈奴的单于投降。后来河内郡的张晟，拥兵一万多人独来独往，在崤山、渑水一带为寇，河东郡的卫固、弘农郡的张琰都带兵响应张晟，曹操任命张既为议郎，担任钟繇的参军事，征召马腾等关中诸将合击张晟等，大破叛军，张琰和卫固被斩杀，于逃往荆州的途中被捕杀，张既因功封武始亭侯。
曹操将南征荆州，因为马腾等拥兵割据关中，于是派张既征命马腾，要求他脱离部曲入朝为官，马腾虽已经许诺，但始终忧郁不决，张既恐其生变，乃令诸县储备粮食物资，以备不虞。复令二千石俸禄以上官吏出郊迎接，马腾不得已，乃入朝，曹操表他为卫尉，家属迁至邺城，并表其子马超为偏将军，统率马腾的部曲。后来马超反，张既从曹操破马超于华阴，西定关右，乃以张既为京兆尹，招怀流民，兴复县邑，百姓怀之。
天子册封曹操为魏公，张既与毛玠、崔琰等担任魏尚