1898年11月,山县有朋组成第二届山县内阁。为便于推行其对内镇压、对外扩张的政策,大搞军人治政。如10名阁僚成员中的1/2由有军籍者担任;制定军部大臣现役武官制,规定军部大臣必须由现役军人的大将、中将担任等。在他主持召开的第14次会议上,为进一步侵略中国和朝鲜,还企图制订在中国福建省铺设铁路和在朝鲜铺设京城至仁川、京城至釜山的铁路计划。对内则颁布了所谓《治安警察法》。
1900年,中国爆发义和团爱国运动。山县有朋认为这是侵略中国的良机,伙同俄、法、英、美、德、奥、意等国大举侵犯我国,日本充当急先锋。8月,八国联军侵占北京时总兵力有3.2万人,其中日军就占1.2万人,扮演了“远东宪兵”的可耻角色,对中国人民犯下了滔天罪行。
1900年9月,伊藤博文组成政友会,与山县有朋相对抗,山县内阁不得不于10月总辞职。
山县有朋辞职后,以元老自居,继续左右日本国内外政策,并于1901年提出所谓“东洋同盟论”。在他的推动下,翌年签订了《日英同盟条约》,目的是为了对抗俄国南下,与俄国争夺在朝鲜和中国的所谓“利益”,他还推荐积极主张扩张的桂太郎接任伊藤组阁。1904年,终于挑起了日俄战争。同年4月,山县有朋作为参谋总长和兵站总监,亲自制定作战计划,指挥日军与俄军作战,并先后侵占我国东北辽南地区,给中国人民带来巨大灾难。