后来李世民在皇宫西面开设了文学馆，招纳文学之士十八人为学士，号为“十八学士”，并命著名画家阎立本为“十八学士”画像，褚亮作赞词。房玄龄当时即为“十八学士”之首。后世史学家在评论唐代宰相时，无不首推房玄龄，总是说：唐代贤相，前有房杜，后有姚宋。
就是这个“十八学士”之首，他的儿子却极不争气。《新唐书房玄龄传》中提到其第二子房遗爱。房玄龄次子房遗爱。荒诞、率性而为、不学无术。但有一把子力气。因为凭房玄龄的功劳，娶了高阳公主，做了右卫将军。太宗皇帝本来很宠爱高阳公主。所以对她礼遇都高于其他人。但公主傲气并且脾气古怪。一直嫉妒房遗直作为长子继承了房玄龄官爵。遗直知道了此事，有些害怕，上书要求让出爵位，但皇帝不允许，并开始对公主稍有冷淡。公主心情不好，开始与一个叫辩机，他其是陈玄奘之徒，长安名僧的和尚乱来。皇帝发火，斩了和尚，并因此事杀了公主身边奴婢数十人。因此公主怀恨，之后，皇帝驾崩，公主哭而无泪。
高宗继位，外迁遗直汴州刺史，遗爱房州刺史。公主诬陷房遗直有罪。高宗派长孙无忌查问。于是得到了高阳公主与房遗爱谋反的情由，遗爱被杀，高阳公主赐死。遗直被看在房玄龄