托词不肯赴任，吾粲开导说:“应龙因为能屈能伸而成为神灵，凤凰因为善于鸣叫而被人所贵重，你为什么一定要隐身藏迹于天外，潜伏鳞甲于深渊呢?”之后屡次前往邀请，谢谭终于愉快地同他谋事。吾粲招募组合人马，被任命为昭义中郎将，与吕岱一起讨伐平定了山越，入朝担任屯骑校尉、少府，升迁为太子太傅。
赤乌中，遭遇两宫事变，孙权想废掉太子孙和，然后立鲁王孙霸为太子，朝中官员各自支持一方。吾粲仗义执言，阐明嫡庶之分，违背孙权的想法，要让鲁王孙霸出朝驻守夏口，遣送孙霸同党杨竺不得让他留在京都。吾粲又多次将朝廷纷争的情况告诉陆逊，陆逊当时驻守在武昌，接连上表谏诤。吾粲因此被孙霸、杨竺等人进谗言陷害，被逮捕入狱处死。