内部，都隐隐让人产生不快。
杨琦与杨瓒的祖父是杨震的长子杨牧，杨彪的祖父是杨震的次子杨秉，杨众的祖父是杨震的三子杨奉，杨懿、杨儒则是杨震另外两个庶子的后人。
按宗法来说，此时的杨氏理当由长房长孙的杨琦、杨瓒为主，但杨氏众人各负才学、各有声名，也没有谁比谁更具有压倒性、让其余人服气的声望，彼此之间共事的时候，总有一股竞争的意味在里头。
杨氏在朝中到底是隐忍低调、还是积极进取，若是积极进取，又是以谁为主。对于这些关乎杨氏前途的问题，杨氏内部说得上话的几个人都是各抒己见，杨众与杨懿二人倾向于积极进取、敢为人先，而杨琦与杨瓒则选择低调忍让、不与争锋，杨彪则是恪守中立，偶尔和稀泥拉偏架，看似不偏不倚，其实还是有自己的算计。
内部都难以形成统一的意见，也没有一个具有极大威望的人主持大局，导致杨氏看似人才济济，实则因为互相牵制而损耗了太多的精力。
杨众出于家族的利益着想，是赞同杨琦能借此机会领头出面的，但出于个人的算计，他却希望能带领杨氏的是自己。所以这也造成了他如今矛盾的心理，说话也有些模棱两可：
“陛下如今强势敢为，不宜直撄