隆兴元年（1163）正月，张浚升任枢密使、都督江淮东西路军马，封魏国公。“上谓浚，当先图两城（指虹县、灵璧），边患既纾，弊以次革”。四月，张浚命李显忠、邵宏渊出兵北伐，李显忠接连攻占灵璧、虹县，张浚渡江前驻盱眙督战，李显忠又攻占宿州。李显忠被任为淮南、京畿、京东、河北招讨使，邵宏渊为副使，准备收复中原。但不久在金军攻击下，因邵宏渊坐视不战，其子又率先逃窜，李显忠被迫退兵，宋军溃败，史称“符离之战”。主和派势力随即抬头，秦桧党羽汤思退，于七月间被任为右相兼枢密使，议和活动也在进行中。十二月，汤思退升任左相兼枢密使，张浚也升任右相兼枢密使，仍兼江淮东西路。隆兴二年（1164）三月，张浚还奉诏视师淮上，“遍行两淮，筑治城垒”，积极部署抗金措施。但于四月间即被召回朝，随后江淮都督府也被罢，在太上皇宋高宗干预下，左相汤思退更加紧进行降金乞和活动，张浚看到抗金无望，即求致仕，遂被罢相，授少师、保信军节度使、判福州。张浚辞新命，恳求致仕，改授醴泉观使闲差。同年八月，张浚病死。乾道五年（1169）谥忠献。