1853年2月,赴任瑚北按察使。5月,奉命帮办江南大营军务,奏陈严法令、汰弁兵、明赏罚、戒浪战、严约束、宽胁从等整顿军务的主张,为湘军组建积累了重要经验。
6月,太平军将攻南昌楠江忠源应姜西巡抚张芾之请率部先期入城助守,采用分守城垛、对挖地道、构筑月城、抢堵缺口等办法,多次破坏太平军的“穴地攻城”。
寻上奏清廷,请设长江水师以与太平军水师抗衡,对后来曾国藩组建湘军水师有一定影响。
10月,升任桉徽巡抚,以太平军从南昌撤围西上,急赴瑚北田家镇增防,被太平军击败,退至碔汉。12月率部入守芦州,陷入太平军的重围。
因兵单粮乏,援兵不至,芦州城于1854年1月14日被太平军攻破,投水自杀。被清廷追赠总督,谥忠烈。
有说法是曾国藩见死不救,因为不喜欢他的率直,也嫉妒他的能力,所以导致他还没有大展宏图,就过早陨落。
不管此说真假,此时,老曾倚重他为武将之栋梁是千真万确,所以特意把他从知县事务中找来议事。。
江忠源的下首,坐着的是一位满清大汉。在满座都是汉人的环境中,他显得就有点突兀。不过他却一副心安理得的样子