是长孙皇后所出。长孙皇后一共生了三子四女，李泰是第二子（排行第四），李治是第三子（排行第九），他们还有一个大哥，名为李承乾。
贞观十年（636年），他们的老爹太宗李世民大封宗亲，将亲兄弟和儿子都封了都督，并让他们离开长安到地方就任。当时，李治和李泰都受封了，但两人都经太宗特许，继续留在长安——李承乾是太子，是国本，更不可能让他离开长安。
兄弟三人虽然留在长安，但居所各有不同。老大李承乾住在东宫，就在他爸太极宫隔壁。老九李治住得离他爸更近，就住在皇帝日常居住的两仪殿。只有老四李泰住得远些。
老四李泰则居住在延康坊的王府，这王府修得可豪华了，当年（贞观十一年）修建时，中书侍郎岑文本特别上书劝谏，说李泰“奢侈”，唐太宗称赞岑文本的意见，赐帛三百段以示夸奖，但却不曾对李泰的行为有任何的责备与制止——多好的老爸呀！
这样安排也算合理，毕竟李治那年还小，而李泰已经结婚生子，再住在宫里就不合适了。虽然如此，但他爸当年还是动过把他留在宫里的心思，毕竟“帝寝”区还是蛮大的，除了皇帝的两