在信长死后，织田家主要分为两派，分别以羽柴秀吉和柴田胜家为首。天正11年（1583年）秀吉在贱岳合战大败柴田胜家，不久攻下了胜家的居城北之庄城，接着与织田信长次男织田信雄同盟消灭了信长三男织田信孝的势力。天正12年（1584年），信雄与秀吉决裂，家康遂与信雄维持同盟，以保持他与秀吉对决的正义性，因为他是以保护信长之子的名义对抗秀吉的。同年，秀吉出兵，两军在尾张国的小牧和长久手交战（小牧长久手之战）。秀吉军12万余，家康信雄联军约三万，因为秀吉突袭别动队为家康识破，因而羽柴军阵亡池田恒兴、森长可、池田元助。战况对德川军有利，其后秀吉无意再打而退兵，改为攻打信雄的伊势国，信雄向秀吉投降。不久，家康突然向秀吉提出讲和，因为信雄投降，因而失去了与秀吉决战的意义。并将年仅12岁的次男秀康送往大坂城作为人质，但仍与秀吉保持着不敌不臣的关系。随后，秀吉在越中迫使佐佐成政投降，又平定了纪伊国的杂贺众，还在四国征伐中取得胜利。家康方面，派遣大久保忠世及鸟居元忠攻打上田城，被真田昌幸击败。此外重臣石川数正突然投奔丰臣秀吉。在众多对家康不利的情况下，秀吉尝试诱使家康成为其家臣。秀吉最初将他的妹妹朝日姬嫁给家康作为正室，家康却无意臣属；不过当秀吉将他的生母大政所送往冈崎城作为人质之后，家康感受到秀吉议和的诚意，因而决议臣属，10月26日到达大坂城，27日正式从属丰臣秀吉。而他在丰臣阵营也得到了秀吉的礼遇。