也有闹笑话的时候，倪瓒的同乡中有一个富翁，富翁家里的芙蓉花开了，邀请倪云林一道赏花宴饮，倪瓒答应了。上菜的厨师是个满脸大胡子的人，倪瓒一见，站起来把衣服左掸掸，右掸掸，意思是要走了，主人非常惊讶，这菜还没吃一口，怎么就要走了？倪瓒傲娇地说：“厨师那么多胡子，肯定好脏，我还吃他做的菜干嘛?”
朋友们一道聚会，难免要请几个歌姬舞女来助兴，一个名叫杨廉夫的朋友，想出了一个玩乐的法子：脱掉妓女的一只鞋，把酒杯放在鞋里，名曰“鞋杯”，让宾客们拿着鞋杯轮流喝酒。倪瓒见到这种玩法，大呼：“龌龊!龌龊!”说罢拂袖而去。倪瓒家是当地有名的地主，倪瓒的两个哥哥都是道教的上层人物，家庭条件本来十分优渥，然而这份家业传到倪瓒的手中，却坐吃山空，家中的各项用度逐渐捉襟见肘。迫不得已，倪瓒变卖了家中的土地和财产，把自己收藏的古玩字画搬到一条船上，打算从此在太湖中消磨余生。可是土地变卖了，当年的赋税还没有交，征税官在各处搜捕倪瓒，突然闻到湖边的芦苇丛中有一股龙涎香的味道，征税官循着香味，把正在湖边熏香的倪瓒抓进了监狱。
到了监狱，倪瓒的洁癖依然不改，狱卒给他送饭，他让狱卒送饭的时候，一定要举