，塔氏“匿菜圃草中以免，兵众毁其房室”。继又围攻曾国藩公馆，曾氏乞援巡抚骆秉章，后遂避移恒州，建立水师，扩充陆军，改定营制，正式立军，以塔齐布为陆军将领之一。
咸丰四年(1854年)春，曾国藩率湘军“建旗东征”，塔齐布分领一军由陆路往攻仝城、冲阳，与甫抵鄂境的桂州道员胡林翼所部配合。
旋因曾国藩在湘境连遭挫败，塔齐布被调回攻襄潭，三月二十八日(4月25日)在城外高岭地方与太平军接战，“枪炮如雨，塔齐布令兵勇闻炮即伏，炮止即进，数伏数起”，逼至太平军营垒。
后两日，又与周凤山等督伤兵勇分路抗拒出城反攻之太平军，进薄城下。塔齐布“持矛深入，几中伏，跳而免”，仍率部死战。城郊湘军水师乘机发起攻袭，水陆配合，卒破城。
是役，太平军损耗万人，被称为“湘军初兴第一奇捷”。更关键的是，这个胜利正是时候，帮了曾国藩的大忙。当时曾国藩方遭靖港惨败，困厄至恶，以至于两度寻死。襄潭之役为之解脱。
清廷赏加塔齐布总兵衔、喀屯巴图鲁名号，并以株守不战罪名革鲍起豹职，超擢塔齐布署提督，寻实授。
曾国藩因败绩获咎削职自效。而身居要职的塔齐布“事