伍子胥是个聪明人，他看出来这个公子光怀有野心，他想杀掉吴王僚自己当老大，在这种情况下再劝吴王对外用兵是不明智的。要想早日借吴国的力量摆平楚国，必须帮助公子光当上国王。于是伍子胥就把一个叫专诸的勇士推荐给了公子光，让他帮助公子光刺杀吴王僚夺取王位。有了伍子胥的帮助，公子光的政变成功了，他登上了王位，即吴王阖闾。
     吴王阖闾当然忘不了伍子胥的帮助，让他参与国家政事。伍子胥帮助吴王改革政治，发展生产，操练兵马，励精图治，加强国力，并向阖庐推荐精通兵法的孙武为兵马大元帅。他与孙武统观全局，为阖闾制定了“西破强楚，北威齐晋，南服越人”的争霸方略。
     鉴于楚强吴弱的客观形势，伍子胥提出了一个疲惫楚军的谋略，他说：“楚国的部队虽然人多，但是他们没有几个好将领，大部分都是平庸之辈，平常窝里斗很厉害，干正经事就不行了。如果把吴军分为三部分，轮番去袭扰楚军，哪支部队出击，楚军都要出来应战。他们出来，我们就撤回来，他们回去，我们再出动。这样一来楚军必然疲于奔命。”吴王按照伍子胥这个计谋去办了，果然很有效果。《左传》记载：昭公三十一年（前511）秋，吴国入侵楚国，攻打夷地，侵袭潜地（今安徽霍山南）、六地（今安徽六安北）。楚国将领沈尹戍率军前往潜地救援，楚军一到，吴军便迅速退回。
     楚军把潜地百姓迁移到南冈（今安徽霍山北）之后就全军撤退了。紧接着，吴军包围了楚邑弦地（今河南潢州西北），楚军左司马沈尹戍、右司马稽又率军前往救援，到达了豫章。待楚军一到，吴军又迅速撤军。经过长时间的疲于奔命，楚军队伍里伤病严重。
     伍子胥和孙武还向吴王献策说：“楚将囊瓦这个家伙巨贪，唐国、蔡国都很恨他。大王如果想大举伐楚，一定要先得到唐、蔡这两个小国的帮助才行。”阖闾依计，并联合唐、蔡，孤立了楚国。
     吴王阖闾九年（前506），伍子胥与孙武等率大军攻破楚国郢都（今湖北江陵纪南城）。这时，楚平王已经死了，伍子胥派人挖掘了楚平王的坟墓，把楚平王的尸体拖出来，狠狠地鞭笞了300下才住手。
     摆平了西方的强敌之后，吴国东边的近邻越国强大起来了。越国和吴国素来有仇，公元前496年，吴王阖闾在一次和越国的战斗中负伤而死。两年后（前494），吴王夫差带兵伐越，大败越军。越王勾践带着5000残兵败将退到会稽山，派大夫文种带着厚礼去请和，请求允许越作为吴的属国。伍子胥看出这是越国的缓兵之计，因此劝夫差不要答应越国的请求。他对夫差说：“越王勾践这个人是个老滑头，他现在装孙子，但如果你现在不消灭他，会后患无穷的。”但夫差这个时候被胜利冲昏了头脑，他认为越国已经被打服了，就答应议和，率军回国了。
     伍子胥气得说：“今后越国用10年的时间休养生息、聚敛财物，再用10年的时间对它的臣民进行教化并加以训练，这样20年之后，吴国就要被吃掉了！”
     此后越王勾践卧薪尝胆，表面上在夫差面前点头哈腰，暗地里却不断地发展自己的力量。而吴王夫差一点儿也没有察觉，一心想向北攻占齐国。伍子胥多次劝说吴王注意那个装孙子的勾践，但吴王夫差仍不以为然。
     公元前484年，齐景公死了，大臣们为争权夺利打破了脑袋，吴王便趁机兴师伐齐。最后在艾陵（今山东莱芜东北，一说是在今山东泰安东南）打败了齐国的军队。此后，吴王夫差的脑袋更不清醒了，伍子胥再提勾践装孙子的事他转身就走。
     此后4年，吴王准备攻打齐国。越王勾践采用子贡的谋略率领军队援助吴国，并用贵重的宝物贿赂宰相伯嚭。伯嚭便一个劲儿地在吴王面前替越王说好话。伍子胥规劝吴王夫差不要被越国表面上的顺从所哄骗，应该赶快灭掉越国，但是吴王夫差还是不听伍子胥的忠言。
     宰相伯嚭在吴王面前进谗言说：“大王，伍子胥这个人可是个危险分子啊，我们必须防备他造反作乱。上次大王准备攻打齐国，他就极力阻拦，还散布谣言说大王是个糊涂的人，希望吴国打败仗来说明他是对的。如今大王您要亲率军队讨伐齐国，这个伍子胥却躲在家里装病，恐怕他很快就要造反了。另外我派人暗中观察伍子胥，发现他趁出使齐国的时候，把儿子托付给齐国人鲍牧。作为一个臣子，在国内稍微有点不痛快就里通外国，仗着是先王的老臣，因为一时没被重用就心怀不满，这样的人大王应该尽早采取措施啊！”
     吴王夫差说：“是啊，这家伙鬼点子挺多的，我也早就怀疑他了。”于是，吴王派人给伍子胥送去一把剑，说：“你就用这把剑自裁吧！省得你看什么都不顺眼。”
     伍子胥接过宝剑，仰天长叹道：“大王啊，我曾经辅佐你父亲成为诸侯中的霸主；当年许多皇子都争着当太子，是我在先王面前冒死保举你。你当了吴王之后，要把吴国分一部分给我，我都没要。没想到今天你听信了奸臣的挑拨要处死我，我可真冤啊，死了都闭不上眼睛！”