与当时的功臣、权贵有矛盾而未得重用，但在他死后，於武帝时却得以被朝廷重视，所以他的故居得到了妥善的保护。
荀攸昔年在颍阴时就听说过长沙的贾谊故居前有一块《贾谊纪功碑》，乃是前汉为纪贾谊之功而敕刻的。荀贞在离开魏郡时，曾对荀攸、程嘉等人说“不朽有三”，如贾谊者，真是当之无愧的功勋不朽了。
荀攸很想去看看这块碑，去贾谊的故居凭吊一下贾谊，不过现下却非适当之时，他压下念头，把坐骑的缰绳交给张飞，整了整衣冠，拍打了下衣上的尘土，又到溪水边洗了洗脸，然后按剑挺胸，规行矩步，来到了郡府门前。
未等他开口出声，只见一人从门边的塾内走出，快步迎了过来，观其打扮，是个斗食的小吏，想来应是守郡府门的亭长了。
这个迎出来的人大约是因见荀攸、关羽、张飞皆气宇轩昂，不似常人，故此很客气。可惜他虽然客气，荀攸却听不太懂他说的是什么，盖因其讲的是方言之故。
好在一听荀攸说出洛阳正音，这个门亭长不管怎么说也是个朝廷的吏员，却也懂些洛阳正音，忙也换了方言，用带着浓厚的长沙土味儿的洛阳正音和荀攸说话。
荀攸问道：“乌程侯可在府中？”
这个