刘永福遂于1865年改投与王士林为敌的豪强黄思宏，对王士林反戈一击，并且成了一名领着二百来人的营官，终于有了属于自己的队伍；1866年。当黄思宏的粮草没办法维继的时候，已经29岁的刘永福带着黄思宏队伍里的二百来人改投“给钱三十千。米则任要，以食够为限”的吴亚忠，为纳“投名状”，迅即掉转枪口帮助吴亚忠灭掉了黄思宏；在消灭黄思宏的战斗中，刘永福的好勇斗狠深受吴亚忠的赏识，被授予“左翼前敌先锋”，在这个时候刘永福所部有了自己的军旗——“黑底北斗七星旗”以及“黑旗军”这个名号。
可是好景不长、当1867年清军围剿吴亚忠部时吴亚忠受伤，刘永福见势不妙带上自己的队伍那二百来号人撒腿就跑。而当吴亚忠对刘永福已是相当的信任和赏识，甚至已经决定将自己的妹妹嫁给刘永福，可是刘永福并不情愿：如果娶了吴亚忠的妹妹，那就等于成了吴亚忠的“直系亲属”，将来被清军追究起来肯定要受连累，不娶的话又得罪了吴亚忠，而在他两难之间时正巧清军的围剿“帮”刘永福解决了这个难题——一走了之。一了百了。刘永福这一跑，便跑进了越南境内。
逃入越南境内后，因越南政府无力剿灭包括黑旗军在内的流亡反叛武装，对这些来