刘备去世，丞相诸葛亮派遣邓芝出使吴国，诸葛亮教邓芝言谈之间，可向孙权提出请求放还张裔。张裔自从到吴国，几年来一直流放隐居，孙权并不知道他这个人，故此准许了邓芝的请求放还张裔，张裔临走前，孙权召见他，问他说：“蜀地卓氏的寡妇，和司马相如私奔，贵地风俗怎么会是这个样子?”张裔回答说：“我认为卓家守寡的女子，比朱买臣妻子贤慧得多。”孙权又对张裔说：“你回国后，一定要为蜀国效力，终不会像个农夫呆在乡间小巷里，那么你将用什么报答我呢?”张裔回答说：“张裔负罪回国，将把自家性命交给朝廷安排，如果能侥幸保得住脑袋，则我五十八岁以前是父母给的生命，自此以后则是大王您恩赐的岁月。”孙权欢悦地谈论着，有欣赏张裔才能的意思。张裔出孙权宫门后，十分后悔自己没有装糊涂，于是迅速上船，加速疾行，孙权果然派人追留，但张裔已经进入永安界几十里，追的人已赶不上他。
张裔回到蜀国后，丞相诸葛亮任命他为丞相府参军，代行相府政务，又兼任益州治中从事。诸葛亮出军驻守汉中，张裔以射声校尉身份兼任留府长史，经常称赞说：“丞相赏赐不遗漏关系疏远的人，惩罚不宽容关系亲近的人，官爵无功不可得，刑罚富贵权势不得免，这就是聪