。此后明成祖北征，其与杨荣、金幼孜跟从，每次召入帐殿时，有时会谈至深夜。其善于书法，每次勒石刻碑时，均命胡广书写，他再次跟随朱棣北征，当时皇孙朱瞻基亦跟随，朱棣命他与杨荣、金幼孜在军中给朱瞻基讲经学史学。
胡广进入文渊阁大学士，当时朱棣做法会祈福，胡广献上《圣孝瑞应颂》，朱棣作佛曲命宫中歌舞和之，而礼部郎中周讷请封禅，胡广进言劝阻，于是朱棣下令禁止。胡广并呈上《却封禅颂》，得到朱棣的喜爱。朱棣曾在筵席时，提到解缙与胡广是同乡、同学兼同事，关系很密切，要求胡广把未出世的女儿，嫁给解缙之子解祯亮。但解缙死后解祯亮被流放到辽东，胡广就想解除婚约，女儿大怒，割耳朵发誓道：“薄命的我这婚事，是皇上主婚的，是父亲大人当面答应的。毁约的话我只有死，也没有第二条路可以走了。”等到解家被赦免，其女仍旧归嫁解祯亮。
胡广做事缜密，在朱棣面前所听的言行内容，其出来后不予告人，其做事也颇为持大体，其赴母丧归朝后，朱棣问其百姓安居之事，其对答道：“百姓生活安居，但是郡县官吏仍然穷治建文年间奸党之事，其所牵连的亲属分支太广，以至百姓为之疾苦。”朱棣随后采纳其言。平心而论，胡广还是有“优点”