阎锡山终于留下了1.5万名日军。为对外保密，阎锡山一再否认侵华日军编入了晋军，还让这些日军穿上了国民党军装，并为其配发国民党军队的武器装备。在晋军中，有的日本军官甚至当上了旅团长。
1945年8月15日，日本宣布投降，但直到1949年，还有不少日军在中国的土地上作战。他们总人数曾达到1.5万人，他们武器精良，身穿国民党军装，但最终没有逃脱覆亡的命运。阎锡山亲自动员日本兵1945年8月中下旬，战败日军开始在中国各地向当地的国民党军政首脑投降。时任第二战区司令长官的阎锡山在蒋介石的授意下，以接受日军投降为名，将3万晋军集结在平遥一带，一边接收日军的物资装备，一边准备对解放区发动进攻。
当时，山西的日军第一军有5.9万人，阎锡山既想把这支部队的武器装备据为己有，又想将日军残部收编，以对抗共产党领导的八路军(1946年6月后，逐步改称为人民解放军)。1945年9月2日，日方派出代表、第一军参谋长山冈道武与阎锡山谈判投降事宜。谈判还没开始，阎锡山突然对山冈道武说：日军虽然战败了，但素质优秀，希望能留下一部分日军负责保安工作。面对阎锡山这一突如其来的要求，山冈道武有些不知所措，只好说：我回去和第一军司令官澄田睐四郎中将商量一下，尽量满足阁下要求。在各种因素的作用下，日军山西派遣军总部答应了阎锡山的要求，并由澄田睐四郎出任山西省总顾问，山冈道武出任副总顾问。阎锡山还下令成立了第二战区司令长官合谋社，下设军事处、经济处、总务处、文化处，均由日本人负责，以达到让战败日军自我管理的目的。尽管如此，当时集结在太原的部分日军低级官兵急于复员回国，不愿留下。为此，阎锡山不仅派人到各部队游说，甚至煞费苦心地亲自到日军军营中演讲，鼓动日军加入晋军，并许以各种优厚待遇，对日军军官更是极力拉拢。看到一些厌战官兵对此仍无动于衷，阎锡山开始勾结日军总部进行威逼利诱。合谋社为此还特别放出风声：如果留守人员总数达不到阎长官要求的1.5万人，就将在山西曾犯有杀人、掠夺、强奸等罪行的日军官兵作为战犯判刑，复员回国毫无希望。有的日本兵还受到上司威胁兵强马壮的阎锡山不断向八路军发动进攻。对此，我军给予坚决回击。1945年9月10日，上党战役打响，八路军毙俘阎锡山部队3.5万人。阎锡山不仅不甘心失败，还想借战斗力较强的日军将我晋冀鲁豫解放区一口吃掉。为彻底揭露敌人的阴谋，1946年初，国、共、美三方小组在山西调停内战时，陈赓将军作为中共代表严正指出，国民党部队正在利用战败日军打内战。国民党代表对此百般抵赖，美方代表则表示怀疑。为揭露敌人的这一罪恶行径，陈赓邀请三方代表前往晋军前线阵地一探究竟。在随从参谋不幸触雷牺牲的危险情况下，陈赓毅然带领三方代表走向晋军阵地。这时据守阵地的就是被阎锡山收编的日本兵，当他们看到陈赓毫不犹豫地向山上走来时，被吓得呆若木鸡。上山后，陈赓亲手将一名不知所措、身穿国民党军装却只会说日语的日本兵揪到三方代表和随行记者面前，用铁的事实揭穿了敌人的阴谋诡计。
