西汉早期，黄老之学盛行，官方还没有设立正式的传授学术的地方，只有私人开设的私学。直到汉武帝罢黜百家定儒一尊之后，采纳董仲舒的建议，才开始在长安建立太学，也就是官方设立的学校。
最初太学中只设有五经博士，置博士弟子五十名。从武帝到新莽，太学中科目及人数也逐渐加多，逐渐开设了《易经》《诗经》《尚书》《礼记》《公羊传》《谷梁传》《左传》《周官》《尔雅》等课程。
西汉武帝时董仲舒在贤良对策中说：“太学者，贤士之所关也，教化之本源也。”
东汉光武帝时朱浮上书请广选博士亦云：“夫太学者，礼仪之宫，教化之所由兴也”。
东汉末著名学者蔡邕，也就是蔡琰她老爹更明确的指出：“太学以为博士弟子授业之所”。
以上种种，无不说明了太学的兴衰直接关系到国家教化的成败。
而且太学不止教授理论知识，还有意识的增加学生了的社会实践环节。
东汉和西晋在皇帝举行乡社典礼时，礼生即都以太学生充伍学生学习采取单科结业方式，每家经典学完后，要由博士主持答辩。严格按各经家法要求，讲求师承。答辩为五十道论辩题，解释多者为上第，引文明者为高说。