自张浚经营川陕以来，陕西军民受到很大鼓舞，使得金军主将完颜娄室“所下陕西城邑，辄叛”，不得不请求增兵。完颜宗翰（粘罕）等也认为宋“陕西五路兵力雄劲，当并力攻取”。建炎四年（金天会八年，1130）七月，金派位望隆重的皇子（金太祖子，世宗父）、左副元帅完颜宗辅（讹里朵）前往陕西任主帅，并命江淮战场的主将完颜宗弼（兀术），“以精兵二万先往洛阳”，准备“以八月往陕西”，与张浚争夺陕西。
    宋高宗“以敌萃兵淮上，命（张）浚出兵，分道由同州（今陕西大荔）、鄜（今富县）延（今延安）以捣其虚”，企图以之消除金军再次渡江南犯的可能性。建炎四年八月，张浚移檄金左副元帅宗维（即宗辅），问兴师犯宋之罪。同时，派权永兴军路经略使吴玠攻取永兴军（今陕西西安），环庆经略使赵哲也收复鄜延诸郡。于是，张浚调集熙河经略使刘锡、秦凤经略使孙渥、泾原经略使刘锜、永兴军经略使吴玠、环庆经略使赵哲，各率所部东进，金左副元帅完颜宗辅也立即将在京西的完颜宗弼所部2万人马，调入关中。九月下旬，张浚集合五路宋军，骑兵6万、步军12万，号称40万，以刘锡任都统制，进抵富平（今富平北），金主帅宗辅以宗弼与娄室所部分为左、右两翼，与宋军决战（参见富平之战）。“泾原帅刘锜率将士先薄虏阵，自辰至未，杀获颇众”，金军左翼主帅宗弼“陷重围中，韩常流矢中目，怒拔去其矢，血淋漓，以土塞创，跃马奋呼搏战，遂解围，与宗弼俱出”重围。“宗弼左翼军已却，娄室以右翼军力战”，“自日中至于日暮，凡六合战”，两军相遇勇者胜，在此决定胜负的关键时刻，环庆经略使赵“哲擅离所部”，率先逃跑，宋军相继溃退，金军虽胜但伤亡亦重，因而“得胜不追”。“富平之战”是宋金两军以大兵团决战，宋军虽然战败，但仍然达到了宋高宗要求张浚将金军主力调离江淮战场的目的。所以，当张浚在斩赵哲、贬刘锡、上疏待罪时，宋高宗就说：“‘浚放罪诏，宜早降’。因言浚用曲端、赵哲、刘锡，后见其过即重谴之，浚未有失，安可罢也。……有才而能办事者固不少，若孜孜为国，无如浚。”有的史书亦称：“富平一战，偶为赵哲离部以取败，……（张浚）痛念向者（高宗）海道之幸，（自己）已出襄汉。今也敌驻淮旬，有再入吴越之谋，万一犯属车之清尘，纵欲提兵问罪，亦何及矣。此公所以不顾利害，不计胜负，而决于一战也。”去冬渡江南犯的主将宗弼及所部精兵，此后数年一直滞留在川陕战场，确实相对减轻了金军在江淮地区的压力。
    富平之战失败后，张浚退向兴州（今陕西略阳），命刘子羽去秦州，召集败散的宋军达10万人。在金军进攻下，张浚又退往阆州（今四川苍溪东南）。张浚任命王庶为兴元知府，王庶也汇聚溃军、义军2万人。吴玠亦收兵保和尚原，并于绍兴元年（1131）五月，大败来犯的金军宗弼所部。
    绍兴二年，张浚被授检校少保、定国军节度使。同年九月，南宋任命王似为川陕宣抚处置副使；十二月，又加任命卢法原为宣抚处置副使，引起张浚的不满。张浚被罢宣抚处置使，仍任知枢密事。绍兴三年五月，诏令张浚回朝。绍兴四年三月，在台谏的攻击下，张浚罢知枢密院事，以提举洞霄宫、福州居住。张浚调离川陕后，绍兴四年（金天会十二年，1134）六月，金军主将宗弼才自川陕回燕山府（今北京）。同年九月，伪齐与金军渡淮南犯，十一月，张浚再次被起用为知枢密院事。绍兴五年二月，张浚升任右相兼枢密院事、都督诸路军马，随后即诏张浚“暂往江上措置边防”，“西连陇蜀，北洎江淮，既加督护之权，悉在指挥之域”，负起了全面的抗金重任，但主要是领导江淮前线的抗金斗争。同年六月，在张浚亲往湖湘督战下，岳飞镇压了杨么起义（参见钟相杨幺起义）。绍兴六年正月，张浚视师荆襄；后又被召回朝奏事，张浚即命韩世忠自承（今江苏高邮）、楚以图淮阳（今邳县西南），刘光世进屯合肥，张俊进驻盱眙，以杨沂中作为张俊部的后翼；岳飞进驻襄阳，准备北伐中原，摆出对金进攻的态势，军心振奋。韩世忠首先自楚州攻淮阳，张俊于五月间进驻盱眙，张浚也于六月渡江至淮南视师。刘光世于七月收复寿春府（今安徽凤台），岳飞于八月攻占蔡州（今河南汝南）、卢氏（今属河南）等地。宋高宗在张浚的力请下，也于九月初出发前往建康以鼓舞斗志，张浚又赶往镇江督师，伪齐闻讯后发兵分道南犯。十月，刘光世慌忙南逃，张浚乘马奔到采石，并下命有一人渡江者斩，刘光世被迫停止南逃。数日后，杨存中等大败伪齐军于藕塘（今安徽定远东南），伪齐其他南犯军队也纷纷退回淮北。  绍兴七年三月，刘光世因骄惰怯敌被罢军职，宋高宗原已答应将刘光世所部划归岳飞，扩充其兵力以恢复中原。但首先遭到枢密使秦桧的反对，张浚也不同意将刘光世所部并入岳飞军，遂收归自己兼任的都督府直接管辖，以刘光世部将王德任左护军都统制、郦琼任副都统制，以兵部尚书、都督府参谋军事吕祉节制，郦琼不服王德居其上，多次申述不被重视。八月，郦琼杀吕祉等，裹胁4万人叛变投向伪齐。九月，张浚以处置不当而罢相，提举宫观，后贬居永州（今属湖南）。但伪齐也因无存在价值，于同年十一月为金所废。抗金大好形势因而受挫，降金求和势力抬头。绍兴八年三月，秦桧任右相兼枢密使，主持降金求和活动。同年末，金以原伪齐辖区划归南宋，以换取南宋的臣属。绍兴九年正月，宋高宗以宋金和议大赦，张浚恢复提举宫观。二月，出任福州知州，福建路安抚大使。绍兴十一年十一月，宋金订立绍兴和议；同月，授张浚检校太傅、崇信军节度使、万寿观使闲差，次年封和国公。绍兴十六年七月，张浚上奏备战抗金，奸相秦桧大怒，张浚被罢去检校少傅、节度使、国公官爵，只保留文阶官特进，以提举宫观，贬往连州居住，绍兴二十年又移往永州居住。
    绍兴二十五年十月，奸相秦桧死。十二月，张浚被重新起用，恢复观文殿大学士职衔及和国公爵位，任判洪州（今江西南昌）。此前不久，张浚因母死守丧，于是奉柩归葬西川，到达江陵时，又上奏请高宗备战抗金，引起新任宰相秦桧党羽万俟卨、汤思退的不满，宋高宗也以“今复论兵，极为生事”。绍兴二十六年十月，张浚再次被贬往永州居住。
    绍兴三十一年正月，金军南犯已迫在眉睫，宋高宗在不得不作抵抗准备的同时，也放宽了对张浚居住地点的限制。同年十月，在宋金战争已经开始的情况下，又起用张浚任判潭州，十一月又改为判建康府，当他十二月下旬到任时，“采石之战”已结束，金帝完颜亮已被部下杀死，两淮金军也开始退兵。但宋金战争仍在进行中，宋高宗却认为终归于和，所以并不重用张浚。直到绍兴三十二年五月，才任命张浚专一措置两淮事务兼两淮及沿江军马，全面负责江淮防务。六月，高宗即退位，孝宗即位。