朝政也被其把控，这种情况一直维系到赵继位。
崖山之战后，赵在张世杰屡战屡败的情况下发力，一举夺回了权力，陆秀夫和天祥分任左、右相，又以应节严和刘黻为参知政事，才算稳定了朝政。而又出于平衡权力，牵制二省的考虑下，他仍然以被剪除了羽翼的张世杰为枢密使，从而实现武并治的局面。
这些年来其实张世杰更多的是扮演‘影子’角‘色’。赵从保护自身和政治的需要将军队一直置于自己的绝对领导之下，后来又成立军机处几乎将枢密院的权力全部剥夺。而从能力面考虑，他也感觉到张世杰在军事思想已经落伍了，难以跟自己对军队改革的步伐。
在指挥张世杰是步军出身，对水战战术十分生疏，焦山水战和崖山水战的两次大败是充分说明了这一点，而琼州三面环水，缺乏战略纵深，只有依靠水军才能拒敌于外，保住最后的落脚点。另外由于火器开始在宋军推广，已经使战争的形式发生了改变，需要新的战术和战法。而张世杰却对此接受缓慢，甚至持怀疑态度。因此他不能放心的任其指挥。
再有从战略看，赵发现在经历一系列的失败后，张世杰已经丧失了进取之心，只希望能够守住琼州这一隅之地，对反攻江南，乃是收复原缺乏信心。以致在