李鸿章从此开始了“翰林变绿林”的坎坷岁月。虽然历经数年战场磨炼，李鸿章也取得一些战功，但是朝廷不肯放权，正规军势力太大，他属下的团练部队始终受到压制，不能成大气候。
     心情抑郁的李鸿章，想到自己的老师——正在江西前线作战的曾国藩。他给曾国藩去信，表面上，表达的只是一种对湘军成功的敬佩之情。但是敏感的曾国藩察觉到了李鸿章打算投奔自己门下，于是主动邀请他进入湘军的幕僚系统。
     此后的四年里，从政务到军务，李鸿章获益匪浅。曾国藩也看准李鸿章是个好苗子，认为他的特点是“才大心细”、“文武兼资”；另外，就是在决策方面，曾国藩有的时候遇到一些重大事件犹豫不决的时候，跟李鸿章商量一下以后，“速有立决”。
    如此师生，真可谓珠联璧合。
     但是李鸿章性格执拗专断也是出了名的，虽然身为下属，如果意见不合他往往固执己见，甚至不惜以辞职相争。“李元度事件”就是一个例子。
     1860年，是曾国藩最艰险的一年，湘军被太平军围困在安徽江西交界的一块锅底形山区，兵家称之为“死地”。运输补给困难，兵员伤病损失无法补充。在这个时候，曾国藩一向宠爱的爱将李元度又不听调度，擅自出兵，遭遇兵败。曾国藩大为不满，就委托李鸿章替自己起草奏折，准备撤掉李元度。李鸿章和李元度的私交本来不错，而且李元度还救过李鸿章的命，李鸿章当然不愿意弹劾李元度。曾国藩就跟李鸿章讲，你不写，我自己来写。李鸿章说，既然这样，我在这儿待着也没什么用了。一甩袖子，回家了。
    尽管不久后，李鸿章又回到恩师身边，但从“李元度事件”不难看出，李鸿章不甘久居人下，早晚要独立成军。
    而上海官绅们演出的一场哭请救兵的话剧，使李鸿章意识到：机会终于来了！
     湘军诸将只想稳固到手的地盘，拒绝出兵。李鸿章意识到，救援上海是自己独立成军的绝佳机会。他主动请缨，要返乡招募一支军队。曾国藩想，湘军自从出省作战以后，连年征战，三湘的兵源枯竭；另外，将士都比较疲怠。利用两淮的子弟，建立一支新的部队，在某些方面辅佐或者代替湘军作战，是他早有考虑的。
     三个月后，大帅曾国藩站在安庆北门外这片空地，不禁大吃一惊。李鸿章就像变魔术一样，一下变出13个营六千多名衣衫不整，目光凶悍两淮官兵。
    1862年3月4日，淮军正式成军。