制河内后，100多法军和雇佣兵继续四面出击，越南军队闻风而逃，北部的海阳、宁平、南定等红河沿岸省份相继陷落。不可一世的安邺未能意识到，他的举动实际已经触动南政府的一支特殊雇佣军——黑旗军的利益。
当时与中国相邻的越南北部，聚集了不少从中国逃亡来的各种反叛武装力量。其中有的接受招安，归附越南政府，成为越南政府雇佣下的团练。有的则自行在越南攻城掠地，占据地盘自立为王。越南政府自身的军力，根本无法肃清边境，于是广泛采取了招安一批，攻打一批，让境内的中国武装力量自相攻灭的措施。
进入越南后的黑旗军，选择了依附越南政府，攻剿越南当地反叛势力和其他退入越南的中国起义军。1869年，黑旗军击退了越南北部实力最大的一支中国流亡起义军，即刘永福当年在吴亚忠起义军中的战友，黄崇英率领的黄旗军。至此，刘永福黑旗军在越南北部扎稳脚跟，以位于中越两国交界处的越南边境城市保胜（老街）为总据点，扼守住红河流经中越两国的重要分界点，修筑炮楼城墙，并在红河上设立关卡，对来往商船抽税。除越南国王常例发给的粮饷外，黑旗军自行征收的税金每年可达8万余两，从此过上衣食无忧的生活，越南北方成了黑旗军的安乐