早晚辅导太子，李胤向来身体羸弱，不应长期劳累，于是任其为侍中，加位特进，不久，改任尚书令，侍中、特进如旧。李胤虽然历任内外的官职，但家中却很贫穷俭朴，儿子有病都没钱买药，武帝听说后，赐他钱十万。
武帝下诏以李胤为司徒，在任五年，清静持重，非常称职。吴国平定后，李胤认为众臣多有功劳，应该多多提拔，于是上书请求逊位，武帝不听，派侍中宣旨，拒绝他的上书，好言诏令敦促，李胤不得已，才出来处理政务。
李胤去世，武帝下诏派御史持节监护丧事致祭，赐谥号成，太子司马衷命太子舍人王赞，为李胤作诔文纪念，诔文的文采和义理都很优美，武帝后来思念李胤清贫的节行，于是下诏说：“已故的司徒李胤、太常彭灌，都躬行忠诚之道、清廉简朴，去世之后，家中没有多余的财产，现在赐李胤家钱二百万、谷一千斛，彭灌家赐李胤家的一半。”