再度剃发降清，欲往西南投永历皇帝，于是这群人再度南下两广。
然而，却因为此时的永历皇帝早就脚底摸油远遁云贵去了，以至于关山阻隔，音讯全无，可怜众军及其家属投主不着，只好碾转至粤西海边，然后买舟南下。
他们本打算西渡航琼另图出路，然而航行途中骤遇风暴，船队为风暴裹挟，最终漂流至香江诸位岛海域。
此时总兵官高大人病亡舟中，众人惶恐无着，再加上风暴之下，船毁人疲，人丁妇孺骤减至不足千人，实已无力再做远航，幸好高大人之子高俊挺身而出，得众人推举为首领，于是在这极南海角之岛，立水寨自保，以捕鱼和种植莞香树为生业，总算是暂时安顿了下来。
在随后的十年间，眼见那大清渐渐的如日中天，于是寨众更不愿北返回故土，好在此地位天高皇帝远之所在，鞑子朝廷暂时也鞭长莫及，于是寨众便在此地自治自理，安心生息繁衍起来。
然而安定了近十年后，风云再起。
前年，平南王尚可喜会同澳门红毛夷围剿香江附近海贼，许多水寨为官军所破，因这大垅湾之民虽结寨自立，但尚未有出海劫掠之行，加上寨子不大，行为也不显山不露水，于始终处于夹缝中低调生存猥琐发育状态，故得以幸