受排挤，可到底现今也是一个比二千石的中郎将，因了对吕布有看法，平时难免会对吕布爱答不理的，这落入吕布眼中，就认为徐荣是恃勇而傲。
论及“勇”，吕布让过谁？
所以，既然徐荣不待见吕布，吕布也就懒得多和他来往。
却是说了：既然吕布、徐荣来往不多，为何吕布还对徐荣说出“胡轸无胆”这种话？按理说，这种话应该是在亲近人中才能说的，和不熟的人说了，话传出去，这不得罪胡轸么？这却是因为吕布的性格了，吕布不是个精细的人，没什么花花肠子，很多时候他都是想到什么就说什么，为此，高顺劝过他很多次，说他“举动不肯详思，辄喜言误，误不可数也”，吕布知道高顺说得对，可生性如此，终究难改，因而才有了对徐荣说出“胡轸无胆”的这种话来。
徐荣、吕布两人交情虽是淡淡，可而今身处一营，面对的又是荀贞、孙坚这样的强敌，两人却也是各自放下成见，从在得了胡轸命“明日击黄盖、孙贲”的军令后便相聚议论军事。
徐荣说道：“数观黄盖、孙贲营，防御甚严，明日攻时，荀侯、孙侯又必会来援，此仗恐将苦战。”
吕布不以为意，说道：“孙坚虽勇，而我以三千骑与之战，不败。今胡将军