正所谓，疏不间亲。李泌忠言逆耳，一旦证据不足，就会被这两人倒打一耙，联手陷害。连肃宗的亲生儿子李倓都被这两人构陷，何况李泌这个外臣。
白复将李猪儿交给李泌后，李泌从李猪儿的供词中判断，安禄山潜伏在肃宗身边的内鬼，不是张良娣就是李辅国。
所以，李泌决定在收复长安后，以退为进，先归隐衡山，暂避锋芒，伺机观察。自己一走，张良娣和李辅国必然从相互勾结，变成争权内斗，届时谁是内鬼，昭然若揭。
但自己一走，肃宗身边的权力平衡就被打破。如果不在归山之前戳破这层窗户纸，自己一直保护的广平王李俶很可能就有性命之忧！
张良娣野心勃勃，不亚于韦后，不但想立自己的儿子为储君，更有效仿武曌，成为九五之尊的欲望。
当张良娣和李辅国联手铲除建宁王李倓、逼走李泌之后，接下来的绊脚石就仅剩广平王李俶一人。
广平王李俶收复长安，立下盖世军功，声势正盛，张良娣十分忌恨，不断暗中散布谣言，所以李泌必须在临走之前特别叮嘱肃宗。
……
这夜长谈之后，李泌去意已决，执意归山，肃宗苦苦挽留。半个月后，肃宗实在拗不过李泌，不得已让李泌归隐衡山。