身边服务，以自己的聪明才干，逐渐得到了很高的地位。伯颜率军南征之初，阿里海牙是军中除伯颜、阿术之外，排名第三的负责人。
这么响当当的一个人物，在攻琼中连番吃瘪损兵折将不说。征讨安南和占城及日本的连番大败，让湖广行省兵力大损，而他为保镇南王脱欢又主动背了黑锅，虽然只是受到了忽必烈的训斥，可其与脱欢明显已经在忽必烈跟前失宠。
世界上往往是锦上添花的人多，雪中送碳的人少。阿里海牙失宠被许多人看在眼里，就有人开始抓他的小辫子。至元十九年，南台御史大夫相威弹劾阿里海牙占降民一千八百户为奴，阿里海牙辩称系征讨所得。想想这么点事情过去都不算事儿，现在却被翻了出来，心里有气便有上奏自言功比伯颜，要求赐养老户，可又因妄言自夸受到御史的弹劾。
忽必烈也觉得阿里海牙有些不服管了，不听其自辩，下旨命相威检核阿里海牙及湖广省参政忽都帖木儿等所占俘丁三万两千余人，并勒令其除奴籍为民。这还不算，又令中书省平章要束木奉旨钩考湖广省钱谷，阿里海牙却奏请与要束木相互钩考贪贿事。
忽必烈一听就恼了，我要查你，你却要求互查，明显是不服管教，于是再次下旨钩考事依要束木之言行之。要