宗泽逝世后，宋朝失去了一个领导抗战的忠臣，开封留守由杜充接任，岳飞也归杜充掌管。

杜充是一个治军无方、酷而无谋、贪生怕死的家伙，与黄潜善等人其实是一丘之貉。

杜充上任伊始，立即中止北伐，并绝断对两河义军的任何联系和支援，并且将宗泽苦心经营的种种设施也给破坏了。

汴京一带是抗金斗争的最前线。

对于这样一道防线，杜充不是鼓励部下积极防御，而是不顾人民的死活，下令掘开黄河堤防，使黄河改道入淮，企图让泛滥的河水来阻挡金军。

河水淹没了汴京周围的地区，淹没了农民的庄稼，淹没了人民的生命财产，却阻挡不住金军的铁骑。

1129年（建炎三年）夏季，金军由统帅兀术带领，大规模地向南进攻。

杜充眼看高宗逃往杭州，开封成了难守的孤垒，于是擅自撤离开封，移军建康（今南京市）去了。

这年五月，高宗迫于舆论，由杭州北返建康，以高宗为首的南宋政府文武百官惶惶然，惟恐金军渡军南下，而高宗则接二连三地给金军首领粘罕写信乞和，其卑躬曲膝的丑态到了无以复加的地步。

是年秋天，金兀术率领大军，气势汹汹地向江淮扑来。

宋高宗吓破了胆，他把防守建康的责任交给杜充后，自己又在投降派的保护下逃到临安　（今浙江杭州）去了。

擅离开封、极不负责任的杜充　，非但没有受到斥责，反而被提升为尚书右仆射（右相）兼江淮宣抚使　。

当金军从马家渡一过江　，杜充就自带3000亲兵，偷偷地北渡长江投敌去了。

主帅逃跑，留守建康的十万宋军军心动摇。

部将纷纷率部逃奔，各谋营生，逃跑像瘟疫一样蔓延开来。

在这巨大的混乱和恐慌面前，岳飞岿然不动，在他的满腔爱国热情的鼓舞之下，士卒被深深地感动了。

他们皆齐声高呼　：&ldo;惟统制是命　!&rdo;一些打算四散回家的士兵，也定下心来继续跟岳飞抗金。

军心稳住了，岳飞精神很是振奋，杜充降敌后，岳飞摆脱了杜充的羁束，自领一军，开始了独当一面的抗金活动。

但是，大部宋军已经溃散，金国十万大军从容地渡过了长江，很快地包围了建康城。

建康就此失守。

金军分两路越过长江后，分一路猛追高宗，高宗吓得乘海船逃到海上。

岳飞开始孤军奋战，后来和另外两个统制会和。

岳飞和人民站在一起，在敌后阻截，骚扰金军。

他带领将士，取得了六战六捷的战绩。

那时候，岳飞的军队已经同南宋政府失去了联系，成为一支孤军，给养的补充十分困难。

但是，军队的纪律依旧很好。

岳飞严格地约束部下，不准随便拿老百姓的东西，不准侵占民房。

为了解决军粮问题，他多方设法，并曾与母亲商量，捐献家财以购买粮食。

他和士兵同甘共苦，每次吃饭，总是和下等的兵士在一起，得到部下的热烈拥护。

这样一支与众不同的队伍，自然能够得到驻地老百姓的爱戴。

街头市井，买卖照常，农民安心下田。

有岳家军在，驻地附近老百姓有一种安全感，岳家军因而赢得了&ldo;岳爷爷军&rdo;的美称。

1130年（建炎四年）春天，这支部队开到宜兴（今江苏宜兴）驻扎下来，在那里维持了良好的秩序，同当地人民相处得很好。

这支军队人数虽然不多，但是正在逐渐成长为一支坚强的抗金力量。

金军占据明州后，处境日益困难，茫茫大海不见高宗踪迹，将士们水土不服，岳飞又驻军宜兴，韩世忠引兵前往镇江，金军归路有被截断的危险，于是决定退兵。

为了方便运输掠夺的财物，金军绕道大运河，水陆并行。