百里奚饱读诗书，才学过人，可是家境贫困，加上楚国宗法制度森严，平民没有希望入仕为官。百里奚的妻子杜氏是个很有见识的女子，深知自己丈夫是旷世奇才，于是就鼓励百里奚出游列国求仕。
    在百里奚出游那天，家中已经揭不开锅了。百里奚的妻子杜氏一大清早起来，宰杀了唯一的一只下蛋母鸡，劈了门闩炖母鸡，煮小米饭，给丈夫饯行。百里奚从南阳出游求仕后，历经宋国、齐国等国家，因为朝堂里无人，都没有得到录用。
    在齐国，百里奚陷入困境，一度沿街乞讨，继续求仕生涯。在齐国郅地，他遇见了蹇叔，两人一番高谈阔论，就结为知己。此后，在蹇叔的举荐下，到虞国当了个大夫。
    但虞国国君是个爱财如命的国君，在收了晋国的垂棘(垂棘地方产的宝玉)和宝马等财物以后，就答应借道路给晋国，让晋国途径虞国去征讨自己的邻国虢国，也是虞国的同姓兼同盟国。
    百里奚对虞国国君述说唇亡齿寒的道理，在劝说无效的情况下，闭口不再劝谏，并对同僚宫之奇说：“对蠢人直言相劝，无异于把珍宝丢弃在路上。” 果然，晋国灭虢国后，把矛头指向虞国。
    公元前655年，晋国(献公)灭掉虞国，俘虏了虞国君及其大夫百里奚。由于他拒绝在晋国做官，被晋国充作奴隶(媵人)，在穆姬嫁给秦穆公时候，陪嫁到秦国。百里奚在去秦国的途中，逃回到楚国。
    楚国国君楚成王听说百里奚善于养牛，就让百里奚为自己养牛。
    刚当上秦国国君的秦穆公，是一位胸有大志的国君，听说了百里奚是人才，就想重金赎回百里奚。秦穆公的谋臣公子絷说：“那楚成王一定是不知道百里奚的才能，才让百里奚养牛。若用重金赎他。那不就等于告诉人家百里奚是千载难遇的人才吗？”秦穆公问：“那我该怎么样才能得到百里奚？”公子絷说：“可以贵物贱买，用一个奴隶的市价，也就是五张黑公羊皮来换百里奚。那样楚成王就一定不会怀疑了。”
    当百里奚被押回秦国后，秦穆公亲自接见了百里奚。百里奚说：“我是亡国之臣，哪里值得国君垂询！”穆公说：“虞君不用你，才使你被掳，并不是你的过错。”秦穆公亲自解除了他的奴隶身份，并与他商谈，讨教国家大事。
    两人一谈就是三天，言无不合。穆公十分高兴，要拜其为上大夫(上卿)，委以国政，实际上就是把秦国的军政大权都交给了百里奚。百里奚坚决辞让不受，并推荐自己的好友蹇叔当上卿。最后，秦穆公就让他用重礼，将蹇叔请来秦国，让他和蹇叔一道做秦国的上大夫。
    因百里奚是秦穆公用五张黑公羊皮换回来的奴隶，故世人称百里奚为“五羖大夫”。羖，就是黑公羊皮的意思。