己全部的精力和能力都用在了改革军制上，他要把日本军队也打造成欧美国家那样的强兵劲旅。
山县仔细琢磨了一下他在欧美各国看到的军事制度，认为日本陆军应该向诞生过陆战第一牛人拿破仑的法国学习，日本海军应该向诞生过海战第一牛人纳尔逊的英国学习，后来他又觉得战略天才毛奇领导下的普鲁士陆军更牛，连不可一世的法国也差点被普鲁士打翻了，于是乎，他干脆把日本陆军军制改成德国式的。
当时日本的士兵多是职业武士组成的藩兵，这帮家伙没见过啥世面，相当落后，还自以为是，小时候受过刺激的山县有朋早就想废掉他们了。在山县有朋的主张下，明治政府搞了个《征兵令》，在全国老百姓中征兵，士兵终于不再像原来那样只能由武士来当了。近代兵制一实施，日军的实力马上壮大起来。为了让新建的军队“老实听话”，山县有朋又搞了诸如《军人“读法”七条》、《军人训诫》、《军人敕谕》之类的东西，规定士兵们最最重要的就是效忠天皇，为天皇而战是最大荣誉，为天皇而死是最大幸福。山县一天到晚鼓足了劲给日本士兵灌输武士道精神，就这样，在他的领导下，日本军队成了天皇的军刀，为了“天皇”，他们干什么都行。
山县有朋对军制改革