真正使胡林翼大彻大悟、痛改前非的是四年后的江南乡试案。那一年，文庆任主考，他任副主考，一同主持江南乡试。不料，他们违规携带别人入闱阅试卷之事被告发。结果，文庆谪戍新疆，胡林翼降一级左迁内阁中书。此事对胡林翼的父亲胡达源打击很大，第二年便因郁病去世。胡林翼为此深自悔恨。父亲的去世，也使他顿觉家族的重任将压在他一人的身上。丁忧期间，他痛定思痛，反躬自省，下决心再不像过去那样荒废年月了。

胡林翼一出手就显示了其不同凡响的见识。他深知如果靠一步一步升迁那是希望渺茫，于是他就从亲友那借了一万五千两银子捐了个知府衔，很快就被分到贵州安顺县。当时安顺土匪猖獗，一般人都视之为畏途，不愿前往，而胡林翼因为捐的钱较多，本可以自行选择其他地方任职的，但是他毅然前往。

贵州是胡林翼事业开始的地方。《清实录》说“贵州所属各地方往往聚有匪徒”，“数百为群，聚散无定，抢劫拒捕”。胡林翼年轻时究心兵略，对军事素有研究，此时刚好派上用场。他深入民间，延访士绅；短衣草鞋，探访匪穴；训练民兵，遂以知兵名天下。他在贵州和土匪打了六七年的交道，带领官兵与盗匪作战数百次，镇压过天柱等地苗民起义和湖南李沅发起义，后总结战争经验编成了《胡氏兵法》。《胡氏兵法》不只谈兵，更多是谈怎样培养人的精神品格，怎样进行道德修养，怎样对待民众，培本养民。胡林翼在贵州任知府的前三年内，因为剿匪安民有功连升三级，官至贵东道。

时值太平军势如破竹，进军湖南、湖北，清廷上下震动。于是，御史王发桂上疏推荐胡林翼，说他“捕盗锄奸，有胆有识，平日训练壮勇，仿戚继光成法而变通之。勇不满三百，锐健果敢，一可当十。搜剿匪徒于深山密箐中，与士卒同甘苦。所著《保甲团练条约》及《团练必要》诸篇，行之均有成效，历任督抚深为倚重。倘蒙圣恩逾格畀以重任，留于湖北带兵剿贼，可期得力”。

后经允准，胡林翼遂提兵进入两湖战场，开始其“中兴名臣”的戎马生涯。后来与太平军作战中，多次运用“围城打援”的战术，打败石达开和陈玉成，最大的胜利莫如收复武昌。后来的安庆之战也是因为采纳他的策略而取得成功的。

太平军来势汹汹，于1853年1月攻克武昌，太平军人数增至五十万，清廷惊慌不已。1854年4月，清王朝就把胡林翼调至湖北任巡抚，他带领湘军连续作战，连连获胜，扭转了当时的被动局面，他的名声，在江南大震。湘军在胡林翼的手上发展迅猛。在他担任湖北巡抚以前，湘军只有不到两万人。而自从他在湖北开始编练部队以后，四年时间里，湘军部队的总数增加到了七万多人，远远超过了过去曾国藩所统帅的部队规模。胡林翼与曾国藩的关系十分融洽，不仅与他随时协商军事部署，源源不断地提供饷银，还为曾国藩的复出，为其谋求地方实职一再上奏朝廷。1857年，曾国藩被剥夺了兵权，困守湖南老家。如果不是胡林翼极力向朝廷争取重新起用曾国藩，也许这位湘军的领袖就在湖南那个偏僻的乡村里慢慢度过自己的余生。

胡林翼比曾国藩小一岁，成名却早于曾国藩，世人并称“曾胡”。他先于曾国藩成为封疆大吏，并且曾国藩后来所任的两江总督一职本来咸丰帝是准备授给胡林翼的，然肃顺提议说：“胡林翼在湖北措注尽善，未可挪动，不如用曾国藩督两江，则上下游俱得人矣”，咸丰帝称善，遂如其议（薛福成：《庸庵笔记》卷一）。二人相比，论学问，胡不如曾，论处世，曾不如胡。

胡林翼驰骋官场很有过人之处。任湖北巡抚期间，令他最头痛的问题是如何处理与湖广总督官文的关系。当时大多数地方的督、抚都是互不买账，明争暗斗，互使绊子，不是你参我，就是我整你，大大影响办事效率，这是清代地方政府的痼疾。胡林翼以大局为重，主动与官文修和。

官文是满洲正白旗人，出身军人世家。此人骄悍昏庸，名为总督，实则是朝廷派到湖广监视汉官的耳目。不久，官文极为宠爱的六姨太要过生日，总督府向武昌官场大发请柬，要为姨太太热闹一番。可按汉人规矩，同僚属官们给总督太太拜寿，没的话说；为总督小妾庆祝生日，则是有失体面，再说湖北司道府县大部分官员平日对官文都无好感，所以，许多官员都托辞不来，或观望犹豫。生日这天，日上三竿了，总督府还冷冷清清。官文急得团团转，六姨太也寻死觅活的。这时候，胡林翼来了，不仅仪仗整齐，他还带来了老母亲和夫人，以太太之礼，给官文姨太太送了一份厚礼。他这一带头，那些观望的和不准备来的官员也都纷纷跟着来捧场，这位六姨太心下自然十分感激胡林翼的侠义救场。宴席上，胡老太太及胡夫人尽挑些好听的话恭维六姨太，把个六姨太喜得合不上嘴。六姨太出身贫贱，自幼丧母，见胡老太太这样喜欢她，便认胡老太太为母。老太太欣然应允，又叫她拜见了兄长胡林翼。事后官文十分感谢。从那以后，六姨太常常在枕边吹风，说胡家母子的千好万好，并说，现在两家认了亲，就是一家人了，就不要再为难义兄胡林翼了。官文对这个娇媚聪慧的六姨太向来是百依百顺，果然从此再不给胡林翼使绊子了。