兴宁二年（364年），桓温率水师进驻合肥，准备北伐。

五月，朝廷进封桓温为扬州牧、录尚书事，并两次召其入朝参政。

桓温只得入朝，但行至赭圻（今安徽繁昌西）时，朝廷却又命尚书车灌前来制止。

他遂驻军赭圻，上表辞去录尚书事一职，只肯遥领扬州牧。

兴宁三年（365年），前燕再次攻打洛阳，陈佑出逃。

司马昱得知，命桓温移镇姑孰（今安徽当涂），准备征讨之事，但最终因晋哀帝驾崩而作罢。

太和四年（369年）三月，徐兖二州刺史郗愔致信桓温，表示愿意与他共同辅佐王室，请求率部出河上。

当时，北府兵卒悍勇，桓温不愿让郗愔掌握京口（今江苏镇江）重镇。

郗愔之子郗超为桓温参军，暗中将原信毁掉，并以父亲的名义伪造信件，自称老病，请以闲职休养。

桓温便顺势改任郗愔为会稽内史，自领徐兖二州刺史，兼并了郗愔的军队。

同年四月，桓温亲率步骑五万，与江州刺史桓冲、豫州刺史袁真一同北伐前燕。

他率军攻湖陆，擒获燕将慕容忠，进逼金乡。

当时正逢大旱，水道不通，桓温便让人在钜野开凿水路三百里，使船只由清水进入黄河。

郗超建议桓温尽率全军直击前燕国都邺城，或者坚守河道，控制漕运，储蓄粮食，直至明年夏天再继续进攻。

他认为如不速战速决，当战事拖延至秋冬后，在水量减少而北方早降温的客观条件之下，会令晋军更难维持。

但桓温全都不听。

七月，燕国大将慕容垂、傅末波等人率八万大军前来抵抗晋军，两军对峙于枋头（在今河南浚县）。

桓温命袁真进攻谯、梁，并打开石门水道。

但袁真始终无法开通石门，最终晋军军粮耗尽。

九月，桓温焚毁战船，退军而去。

慕容垂率八千骑军追赶，与晋军战于襄邑（今河南睢县西）。

桓温大败，死伤三万人。

到了晚年，由于北伐的失利，桓温的权力欲望是越来越足，就差一个皇帝的称号了。

桓温兵败后，退至山阳（今江苏淮安），收集散兵，并将战败之罪委于袁真。

他上疏朝廷，请废袁真为庶人。

袁真不服，据寿阳（今安徽寿县西南）叛变，并暗中勾结前秦、前燕。

朝廷不但不敢追究桓温的兵败之责，还命侍中罗含带着牛酒到山阳犒劳桓温，并任命其子桓熙为豫州刺史。

后来，桓温又移镇广陵（今江苏扬州）。

太和五年（370年）二月，袁真病死，部将朱辅拥立其子袁瑾。

前燕、前秦都遣军援助袁瑾，桓温命部将竺瑶、矫阳之率军迎战。

燕军先至，在武丘（今河南沈丘东南）与竺瑶交战，结果大败而回。

同年八月，桓温率二万军队攻打寿阳，并筑起长围，将城池团团围困。

袁瑾只得婴城固守。

太和六年（371年），前秦将领王鉴、张蚝率军援救袁瑾，结果被桓温部将桓伊、桓石虔击败。

不久，桓温攻破寿阳，俘获袁瑾，将袁瑾、朱辅及其宗族数十人全部送往建康斩首。

袁瑾妻女被赏赐将士，所侍养的数百乞活军则被活埋。