为了做好“合谋”的工作，阎锡山还提出立即成立一个“合谋社”作为发动日本人的专门机构，并由赵承绶代表他督导这一工作。
     不久，在太原市海子边原“日华俱乐部”门口挂起了“第二战区司令部合谋社”的招牌。梁■武和徐咸寿(阎的内亲徐士珙之侄)分任正副社长。“合谋社”中设军事、经济、总务和文化四个组。军事组专负发动留用日本人之责；经济组专负收集处理日本人的遗留物资和保护日本商人照常营业之责；总务组专负收发文件、秘书工作及翻译工作和其他一切事务之责；文化组专负对内对外宣传解释和专替日本人组织娱乐之责。积极主张日军“残留”山西的日本军官城野宏、岩田清一和元泉馨(后改元全福)等人都被吸收到“合谋社”工作。城野宏担任军事组组长，负责发动工作。岩田清一(改名于复国)，负责对下级军官和士兵的动员工作。元泉馨原为日军驻上党第14混成旅团少将旅团长，是在山西的日本上层参加“残留运动”最积极人物。他向阎锡山表示“愿立刻脱掉日本军服，帮助阎阁下进行‘剿共’战争，死而不悔”，因而被阎大为称赞，引为“同志”，委为太原“绥靖”公署中将顾问。“合谋社”出版了《晋风》等杂志，刊印了城野宏撰写的《日本人的立场》的小册子。这个小册子从理论上论证了“残留”运动的意义，被分发到日军和日本侨民中。“合谋社”中还吸收了一批日军“骨干”分子，如小田切正男、永福浩喜和小林正孝等，他们被分到日军各部队或山西产业、华北交通等企业团体和侨民中去宣传“残留运动”。
     阎锡山觉得这些还不够，又组织了“亚洲民族革命同志会”(简称“亚民会”，也称“亚盟会”)，将所有被留下的日本人都吸收到这个组织中。办理这个组织的负责人是徐士珙和城野宏。阎锡山对参加该组织的日本人说：“中日两国原系同文同种，都是亚洲民族，应该精诚团结，密切合作，共同‘防共’、‘灭共’。只有这样，中日两国，才能‘共存共荣’。”此外还组织了“日侨管理处”作为管理军队以外日本侨民的机关，徐士珙也是该组织的负责人。
     残留下来的日本人，开始被编成6个护路大队，实数约5000余人。他们分驻太原、榆次、晋源、阳泉等地，归护路司令赵承绶、副司令元全福(元泉馨)、参谋长于复国(岩田清一)指挥，担任守护、抢修铁路交通线和掩护运输以及作为阎军的机动预备队，配合阎军进行反共的内战。
     随后，阎锡山同日军商定了以“特务团”名义改组日军的计划。该计划是在日军第1军司令部设9个步兵团，加上特科队、医院、生产机构等共约1.5万人，大体相当于一个师团。并设想以此为骨干，组成3种部队：全由日本人组成的部队；只有指挥官和基干人员是日本人，而其他是中国人的部队；全部是中国人，但置于日本的编制内，并接受日本人指挥的部队。这三类部队总数预定为6万人。1946年2月，按照阎锡山的旨意，以日军第1军的名义下达了组编“特务团”的命令，每个旅团各自组建1个步兵团(联队)，在司令部组建1个由各兵团选拔的士兵组成的步兵团。“特务团”司令部从第1军司令部分出，并设立政治部。日军第114师团师团长山浦三郎中将被指定为残留日军司令官，该师团参谋太田黑少佐为司令部参谋(因山浦三郎住榆次，实际负责人是岩田)，城野宏则负责政治工作。