到了阿日斯兰晚年，身为大台吉的呼和巴日已经全面接管整个漠北草原的内政大权，但是另外一个方面，常年跟随阿日斯兰左右的图蒙，则是军权太盛，常年对漠南胡族的征战，更是为图蒙打下了赫赫威名，这就导致了一个非常奇怪的现象，呼和巴日看上去身处权利核心，是整个漠北草原的掌权者，更是铁定的未来可汗继承人，但是他手中的军队却是少的可怜，只有区区两万直属近卫军，而图蒙身在漠北边境，看似远在权利核心之外，但是他手中却是掌握着漠北胡族最为精锐的三十万大军。
对于这一点，许多人曾经婉转的和阿日斯兰提到过其中的担忧。
汉人大臣黄寺更是激烈劝谏，密言呼和巴日，言其图蒙军权太盛，他日必定尾大不掉，威胁呼和巴日的可汗之位，让其早做打算，趁着阿日斯兰在世之时，借助他的力量，剥夺图蒙兵权，将其软禁，甚至杀掉。
呼和巴日与黄寺两人的密谋，被图蒙探知，他当即独自一人返回汗庭，当着父汗阿日斯兰与诸位兄弟的面，跪地磕头，大声痛哭，请求大哥呼和巴日饶命，阿日斯兰当场质问呼和巴日此事是否属实，呼和巴日不敢隐瞒，只得说道，黄寺确实说过这样的话，但被自己所拒绝，把责任全部推到了黄寺的头上。