各将领讨伐胡虏以及伯固等。敌人都败退逃跑，乔玄在这里任职三年，边境安定无事。灵帝初期，调回乔玄任命为河南尹，改任少府、大鸿胪。
乔玄与南阳太守陈球有怨仇，当他在司空司徒的位置上的时候，反而推荐陈球担任廷尉，乔玄因为国家力量薄弱，并且揣度自己的能力没有用武之地，于是托病上奏，把各种灾害归咎在自己身上，于是被免职。一年多后任命他为尚书令，当时太中大夫盖升曾经和皇帝有密切关系，愿来担任南阳太守，贪污好几亿，乔玄上奏罢免盖升并关押起来，没收他的财产贿赂所得，皇帝不同意，反而升迁盖升为侍中，乔玄托病辞职，又任命为光禄大夫，过了几个月，再次因为疾病免职，改任太中大夫，在家中养病。
乔玄的小儿子十岁的时候，独自外出游玩，突然有三个人拿着棍棒把他劫持了，进入乔玄府里楼阁上，让乔玄拿钱赎人，乔玄却不答应，不一会，司隶校尉阳球率领河南尹、洛阳北部尉曹操围住了乔府。阳球等人担心劫匪杀掉乔玄的儿子，没有下令追赶劫匪，乔玄大声说:“犯罪的人没有人性，我怎么能因为一个儿子的性命而纵容了国家的罪犯!“催促命令追击，于是攻击劫匪，乔玄的儿子也死了，乔玄于是面见皇帝谢罪，请求皇帝向天下下令：“凡