他跟慕流云说，袁牧因为性子冷淡，不喜欢和其他高门子弟来往，再加上在年纪相仿的同辈之中，他又是最天资卓越的那一个，文韬武略，卓尔不群，那些纨绔不免对他心生嫉恨。
再加上在任提点刑狱公事之前，袁牧还曾经在军中挂职过一阵子，也是以军法严明而著称，期间几个同样在军中挂名，却只想要混混日子，求个虚名以应付家里的世家公子哥儿做了败坏军纪的事情，居然偷偷从外面带了姑娘、琴师到军营里面喝酒取乐，被袁牧当众惩戒，打了个屁滚尿流，还丢了好大的人，从那以后就算是结下了大梁子。
那些不成器的混世魔王之所以能那么没规没矩，和家里头的管教方式自然也是不无关系的，正所谓上梁不正下梁歪，他们家里面的父兄表面上对于忠勇郡王客客气气，恭恭敬敬，私下里却也嫉妒袁怀的那份荣光和体面，更嫉妒他有一个如此优秀的儿子。
原本还只是暗搓搓地嫉妒着，也不好表现出来，结果因为袁牧处置了他们家里不成器的败家子，这多少也等于打了他们的脸，既然袁怀是一个不问政事的富贵闲人，他们无处下口，那袁牧变成了这些人泄愤的唯一目标。
打那之后，袁牧被人找茬儿参了几次本子，不过上面追查下来，发现都是一些