足，再加自己是皇上亲派，并且明确他与僧是“平行”，不是“随同效用”，所以也咽不下这口气，因此两人合作极不愉快。1860年元月，郭嵩焘被迫离开山东返京，悲叹“虚费两月搜讨之功”，“忍苦耐劳，尽成一梦”。
回京后，他受到“降二级调用”的处分，虽仍回南书房，但实际已是闲人，被冷落一旁。他在给曾国藩的信中报怨说：“久与诸贵人周旋，语言进退，动辄生咎。”
素有识人之明的曾国藩早在岳麓熬夜看书时就指出郭嵩焘识见过人，但书生习气过重，能著书立说，更是出主意的“高参”，却不堪官场的“繁剧”。曾国藩在评价肃顺屡兴大狱、以严刑峻法整顿吏治时说得很清楚：“国家致弊之由，在以例文相涂饰，而事皆内溃；非宽之失，颟顸之失也。”“今一切以为宽而以严治之，究所举发者。仍然例文之涂饰也，于所事之利病原委与所以救弊者未尝讲也。是以诏狱日繁而锢弊滋甚。”“向者之宽与今日之严，其为颟顸一也。颟顸而宽犹足养和平以为维系人心之本，颟顸而出之以严，而弊不可胜言矣。”“故某以为省繁刑而崇实政为今日之急务”。也就是说，根本原因在于“一切以为宽”，即吏制本身存在巨大缺漏。使各级官吏有机可乘，时时面对巨大的利益诱惑