有质朴粗俗、无赖好斗、任侠尚义等特点，如今由山野之民变身为吃皇粮的官军，爱国卫家之心一时激发，一个个忠勇奋发，努力杀敌，于是吕文德这支部队屡有小胜，声名渐著。赵葵又着意栽陪，未几吕文德连被擢拔，二三年内，所部从二三十人的小队，壮大为二三千人的偏师。队伍既壮，吕文德志气益高，遂着意操练，整饬军纪。其兵士经年力田樵猎，如今又累日演练，一个个浑似黑炭，蒙古兵目为劲敌，见之则相互戒曰：黑炭军至矣！泰熙二年（公元1238年）九月，蒙古大将察罕率大军围庐州，吕文德在主将杜杲统帅下与之大战于朱皋、白冢，吕家军摧锋陷阵，所至披靡，于是吕文德之军，遂以“黑炭”驰名。
黑炭军屡建边功，宋廷论功行赏，吕文德连续升职。福佑三年（公元1243年）二月，以吕文德为福州观察使、侍卫马军副都指挥使，总统两淮兵马，吕文德至此乃独当一面。五年二月，吕文德复五河，进三秩。这一时期，由于黑炭军的浴血奋战，宋军守住了淮河一线；吕文德百战成名，深得朝廷倚重。大将刘整降元后曾说：“南人惟恃一黑炭团。”以此可见“黑炭军”的实力和地位。
保福二年（公元1254年），宋朝命吕文德总统江陵、汉阳、归、峡、襄、郢诸镇