就越来越受到党人的影响，遂渐渐地就以诛除宦官为己任了。
实际上，汝南袁氏与宦官的关系一向是不错的，要不然，袁氏也不可能在两次党锢之祸中安然无恙，并且贵重於世。当然，袁氏与宦官的关系不错，并不是说他们依附於宦官，他们与党人、名士的关系也不错，如果袁氏依附宦官，是阉党之一员，与党人、名士的关系不好，那么袁绍就算想与党人结交，党人、名士料来也是不会理会他的。
左右逢源，谁也不得罪，这是袁氏在朝中的立身之本，也是袁氏能在历次政治斗争都安然无事，一直贵重的主要缘故，而如今却出了袁绍这样一个“逆子”，与党人往来密切、蓄养剑客死士，在袁氏家族内部，原本在最初的时候，袁绍的生父、从父们对此是不赞成的，所以当听说赵忠说“不知此儿终欲何为”后，袁隗就马上把袁绍叫来，当面训斥他。
可袁绍已经在诛除宦官这条路上走得太远了，受党人、名士的影响太深，已经把诛灭宦官当成了己任，那么自然对袁隗之训斥不当回事儿，而又因为袁氏一向虽与宦官的关系不错，与党人、名士的关系也不错之缘故，他虽不听袁隗的话，袁隗却也对他无可奈何，总不能强令他不得再与党人交接，这个命令如果一下去，传出去，袁氏的家