早在两广总督任上时，张之洞就认识到：“各国武备，近以德国为最精”。他在雇募“洋弁”教练广胜军习洋战时，那些“洋弁”即来自德国（注：《雇募德弁片》，《张之洞全集》第1册，第314页。）。
        甲午战争的结果，从军事上来说，一方面暴露了中国旧式军队的种种弊端，另一方面显示了日本学习西法练兵的成效。事实上，日本学习的就是德国的军制，“日本武弁，皆向德国学习”。当时德国的陆军是世界上最强大的陆军，张之洞在主张用西法“亟练陆军”时认为：“目前陆军以德国为最强，自宜取法于德”。他甚至主张全盘模仿德国军制，“其法必宜即派德国将弁为统领、营官，令其悉照洋法操练，并其行军、应用、军火、器具、营垒、工程、转运、医药之法，亦俱仿之”（注：《吁请修备储才折》，《张之洞全集》第2册，第991～992页。）。江南自强军与湖北护军就是由德国将弁训练成军的。
        张之洞练兵由师德转而师日是在戊戌年前后，这是由多种因素促成的。首先，中外关系形势的变化。光绪二十三年（1897）底的胶州湾事件，充分暴露了德国的侵略者面目，德国人的信用自然被大打折扣。更重要的是，当时张之洞的外交态度有了微妙的变化，他已经从对日本侵略者的仇恨中回过神来，与李鸿章亲俄的态度不同，张之洞与刘坤一主张联英、日对付俄、德，他认为：“今日宜兼联英、倭方令德、俄稍有顾忌，且免英、倭忌羡，多树两敌，扰动长江以南”（注：《致江宁刘制台、天津王制台》，《张之洞全集》第9册，第7452页。）。
        其次，日本的积极联络。甲午战争之后，远东国际关系格局有了新的变化，西方列强虎视眈眈，迫使日本为图自保而不得不向一衣带水的中国示好。为了削减中国人民强烈的仇日情绪，日本参谋本部、军部等机构频频派人来华游说，为了结交，他们表示愿意为中国培养留学生，帮助中国兴学、练兵。张之洞是日本游说的一个重要对象。起初，张之洞因不明底细而对此不以为然，当得知日本武员神尾、梶川将要来武汉“面议要事”时，他只委托江汉关道和钱恂接待，自己则借口出省城查勘堤工而有意避开。在日本人离开武汉东下江浙后，张之洞回省据报告其来意“重在修好联交及派人就学”，他连忙一面直接致电神尾光臣，表示：“贵国与敝国同种、同教、同文、同处亚洲，必宜交谊远过他国方能联为一气，现在亟愿面商一切切实详细办法”，希望他“重来鄂省”；一面致电上海道与浙江巡抚，请他们代为劝驾“重来相见”（注：《致上海蔡道台》（二件）、《致总署》、《致日本参谋大佐神尾君光臣》，《张之洞全集》第9册，第7436、7438～7539、7446～7447页；《丁酉12月初4日致杭州廖抚台》，《张之洞电稿乙编》第11函，中国社会科学院近代史研究所图书馆藏档案（以下简称“所藏档”）甲182-72。）。光绪二十四年（1898）正月，神尾光臣来谈“新法练兵”，张之洞以为“切实可采”，他致电湖南巡抚陈宝箴，主张“合鄂、湘之力延倭教习，先练一军为各省倡”，他认为：“倭陆军采德、法两国制，又参以其国之宜，地近、薪廉、种同，文字、语言、风俗又相近，以之教兵，必有裨益。此可与派人就学二者并举，以济急用”（注：《致长沙陈抚台》，《张之洞全集》第9册，第7487页。）。就这样，张之洞开始确立了聘请日本教习和派遣留日学生的方针。随后，日本人宇都宫太郎等人又不断地来湖北联络，继续做张之洞的工作，甚至伊藤博文、近卫笃麿等政界要人也亲到武昌访问，这更加快了张之洞迈向师日的步伐。
        再次，德国将弁与教习的问题。张之洞编练江南自强军和湖北护军确实得益于德国将弁的帮助不少，但也生出了不少麻烦。他曾向总署报告说，在江南的来春石泰等人，“期满遣归时，枝节已多”；在湖北的法勒根汉又是“种种桀骜揽权生事”。本来，张之洞在编练自强军时，为了能够更好地学习德国军制，不但任用德国将弁为教习，而且由他们担任统带、营官、哨官这样的主要军职，结果使他们专权跋扈，难以控制。从这些经历中他总结出的教训是：“今日中国练兵诚为第一要事，惟各国皆思干预我兵权，亦是大患，大率用洋人为教习则可，用洋人大员为将领则万万不可”（注：《致总署》，《张之洞全集》第3册，第2135页。按：武备学堂提调钱恂与总教习法勒根汉发生矛盾，使钱恂离开了武备学堂，就是因为“揽权”（《戊戌8月初9日致京孙公园兴胜寺钱念劬）》，《张之洞电稿》所藏档甲182-455。）。此后，他在聘用日本人为教习时特别注意了这一点。
        由于日本人积极主动地联络张之洞，并提供了一些实质性的帮助，如愿意派遣军事教习和接受中国留学生，主动邀请中国派人到日本考察军事，还向湖北赠送武备书“约百种”；而德国人的表现又不尽如人意。另外，从经济上考虑，“东人较之西人，薪水甚省”。在财政相当困难的情况下，这也是一个不得不权衡的重要因素。这些都使张之洞的心理天平很自然地向日本人倾斜。他曾致电总理衙门说：“现在湖北武备学堂教习及勇营教习，皆系德国人，自不在多此日本数人。近来日本人在中国甚平静谦和，通商量，德人与之相形，可稍戢其桀骜之气；且日本人只充武官教习，并不管兵”（注：《戊戌正月28日致总署》，《张之洞电稿》，所藏档甲182-455。）。在这种情况下，张之洞作出师日的选择也就顺理成章了。光绪二十四年（1898）正月，他在派遣姚锡光等人到日本考察时说：“日本与我同种、同教、同文、同俗，又已先著成效，故中国欲采泰西各种新学新法，允宜阶梯于日本”（注：《札委姚锡光等前往日本游历详考各种学校章程》，《张之洞全集》第5册，第3560页。）。
        张之洞在《劝学篇》和《江楚会奏变法三折》中最后确定了师日取向：因为同文、同种、路近、费省等原因，中国可以通过学习日本而更快捷地达到学习西方的效果。张之洞自派姚锡光等人到日本考察后，日后不断地派遣留日学生和赴日游历考察人员；与此同时，他聘请了大量的日本教习。据有人研究统计，清末武昌各军事学堂共聘有外籍教习52人，其中除3人国籍不详外，有德国教习6人，日本教习43人；德国教习都是在光绪二十三年（1897）以前所聘，自光绪二十五年（1899）日本教习抵鄂后，到光绪二十八年（1902）逐渐取代德人，而成垄断局面（注：参见苏云峰《中国现代化的区域研究（1860～1916）：湖北省》台北，中央研究院近代史研究所专刊（41），1981年版，第248～250页。）。师日取向的确定，对于晚清军事变革乃至整个清末新政都有着重要的影响。