中书省右丞相铁木迭儿，在南方地区“经理田粮”，也就是核实土地，增加税收，平均差徭，史称“延祐经理”，张闾为人十分苛暴，办事过程中闹出了人命，引发了江西蔡五九起义，为平民愤，元仁宗将张闾逮捕，黄公望受牵连一同入狱。可偏偏就在他入狱的这一年，“通达儒术”的元仁宗重新开科取士，好友杨载在这一年科考中了进士，官至饶州路同知。
出狱后的黄公望，对做官彻底失去了兴趣，开始一边旅行、一边卖卜作画，有人说他“侠似燕赵剑客，达似晋宋酒徒”。61 岁的黄公望加入全真教，号“大痴”，后来和他成为道友的还有倪瓒，也是元四家之一，比黄公望小 32 岁，倪瓒是富贵人家出身，没有什么纨绔子弟的毛病，除了一样，十分的洁癖。
放弃了功名以后的黄公望生活平淡，有时为了一副画面，呆呆地坐在石头上，一坐就是一天，下了雨也不知觉，被世人称为“大痴本色”。78 岁时，黄公望为倪瓒《春林远岫小幅》作题时，感叹自己老眼昏花，手不应心，第二年，他应好友无用师的邀请，开始绘《富春山居图》，一画就是六七年，画完没几年便逝世，享年 86 岁。
有人说，黄公望画富春山居时，笔法游戏如草篆。想来，时代视我如游