第一场战斗已经失利，那么全军锐气肯定丧失，趁元气还没大伤的时候赶紧休兵，以后等机会成熟再战吧。”
殷浩回信说：“这次失利，纯属偶然。开弓没有回头箭，既然出兵了，就要决战到底，哪能因为摔一个小小的跟头就不走路呢？”
公元353年九月殷浩率军进驻泗口（今江苏淮阴北），派戴施、刘遁据守石门和仓垣。十二月，谢尚派王侠率军又攻占了许昌。殷浩考虑到兵法有云“不战而屈人之兵，善之善者也。”
可不可以走点儿捷径呢？那就采取“诱降”吧？于是他给前秦大将梁安、雷弱儿写信劝降，利用他的出众文才循循善诱，说“如果你们弃暗投明，晋朝廷将给予你们官升三级……”果然梁安、雷弱儿两位前秦将领纷纷回信说“很好，我们改邪归正，誓死投奔并效忠晋朝廷。此外我们还要劝说张遇一同归降大晋朝……”收到回信的殷浩得意洋洋——哈哈，看我殷浩的能耐吧，人才就是人才啊。终于看到了胜利的曙光，希望大大的有！但是他并不知道，人家根本就是“诈降”！姚襄接受殷浩命令屯兵历阳之后，在这一带兴修水利，劝民农桑，操练将士，养精蓄锐。让小心眼的殷浩起了疑心，便把姚襄送过来作为人质的弟弟们囚禁了起来。姚襄及其将士听说后，人心不稳，有几个下属悄悄离开姚襄要投奔殷浩，被姚襄发现后斩杀了。于是殷浩更加对姚襄怀恨，便派了两拨刺客刺杀姚襄，但都被姚襄擒获。刺客们都将幕后主使殷浩抖搂了出来。很自然，姚襄对殷浩是恨上加恨。同时，殷浩也“派”前秦的梁安、雷弱儿两个将军刺杀前秦的皇帝苻健，你想，那两个假投诚的大将会当真去干吗？也真巧了。那个投降到前秦的大将张遇却当真“反水”了，他在关中扯起大旗又跟前秦闹翻了。原因是前秦国主苻健娶了张遇的后娘做妃子。这个苻健也有点儿得意忘形，他当着满朝文武的面，在朝堂上多次跟张遇开玩笑：“张遇，我娶了你的后娘当妃子，你就是我的儿子了。哈哈哈……”张遇受不了这种奇耻大辱，于是在关中扯旗造反了。没多久就被前秦消灭了。公元354年初，得知张遇又来投诚的殷浩大喜过望，他还以为这是前秦的梁安、雷弱儿两位“降将”劝降起了作用呢。于是他趁机命令他的部队跟姚襄的部队会合，去攻打长安、洛阳。姚襄假意服从殷浩，等到殷浩大军前来的时候，姚襄预先埋伏在山桑（今安徽蒙城北），却给了殷浩大军致命一击。殷浩七万将士，损失一万多人。他们丢弃辎重，仓惶败退到谯城。后来殷浩又派部将刘启、王彬之攻打姚襄，但都以失败告终，刘启、王彬之均被杀死，还造成两万多晋兵伤亡。于是，殷浩的北伐宣告彻底失败。谢尚因兵败被送交给廷尉治罪。当时谢尚的外甥女康献皇后褚蒜子临朝执政，于是特令只将谢尚降职为建威将军。不久，朝廷念他“获得”传国玉玺有功，将他征召到朝廷，任命为给事中，赏赐轺车、鼓吹，让他驻守在石头城。而“大帅”殷浩就没这么幸运了。因为有个人一直跟他作对，而且早就盼着这一天了。大将军桓温得知殷浩北伐溃败的消息，兴奋异常，他连夜给朝廷上书，历数殷浩的罪状：“中军将军殷浩身居要职，却擅自离职或超越他人职守，随心所欲。对正直的司徒蔡谟进行迫害，狡说诡辩，扰乱朝廷视听，致使蔡公险遭杀害。“自羯胡衰亡以来，中原大地，群凶残杀不休，生灵涂炭，百姓企盼官军去拯救他们。殷浩受命北伐，却无报仇雪耻之志，树立朋党，制造事端，终使仇敌大肆杀戮，奸逆蜂涌而起，华夏大地纷扰动乱，百姓困苦不堪。殷浩惧怕朝廷怪罪，为求恕罪，声言进讨敌寇。驻兵寿阳，却长期按兵不动，徒然消耗国家人力、财力。纠合无赖之徒，以求自强，封赏无定规，猜疑陷害无所顾忌。“羌帅姚襄率部归顺朝廷，将弟弟们送入京城做人质，殷浩不但不予以安抚，使之为朝廷效忠，反而设计陷害，两次派刺客行刺姚襄，被姚襄发觉。姚襄迫于无奈背叛朝廷。又不能乘势扫荡敌寇，致使朝廷大军惨败，舟车、辎重丢弃一空；三军粮草，资助了敌寇。天怒人怨，成为大众所唾弃的对象，所带来的灾祸，将危及国家社稷……”朝廷见桓温义正词严，被逼无奈只好将殷浩废为平民，将他流放到东阳郡信安县。于是桓温终于拔掉了这支“眼中钉”，形成了自己日后的一支独大。桓温对心腹谋士、参军郗超和主簿王珣说：“说起这个殷浩来，从小就在一起玩耍，我们俩玩骑竹马，我丢掉了之后，他就上来捡，玩的都是我剩下的，哈哈，从那时候看，就知道那小子不如我啊。”
郗超说道：“殷浩军事才能确实不咋地啊，吃败仗是咱们事先就料定的。”
桓温说：“殷浩品格高洁，能言会道，假使让他担任尚书令和仆射，足以成为朝廷百官的楷模，朝廷用才不当，以致有今日啊。”
殷浩虽然被罢黜流放，但没有说过半句无怨言，神情坦然，一切听天由命，依旧不废谈道咏诗，即使自家亲人也看不出他有什么被流放的悲伤。只是整天用手在空中写“咄咄怪事”四个大字而已。“莫非这就是命运的捉弄吗？出征时我刚一上马，走了没几步，就突然从马上摔了下来，我感觉苗头不对，但我不信这个邪呀！那个狗屁张遇，翻来覆去，朝三暮四，怎么偏偏让我们‘遇’上了呢？你说，这能怪我吗？这些岂非咄咄怪事……”殷浩的外甥韩伯，素来受到殷浩的赏识和喜欢，他随殷浩同到流放之地，一年后回京，殷浩送到水边，吟咏曹颜远的诗道：“富贵他人合，贫贱亲戚离。”
吟罢竟然抽泣哽咽，潸然泪下。此时掌握朝廷内外大权的桓温到了“逞能”的时候了：“你殷浩酸秀才根本就不是带兵打仗的材料，看看我桓大将军的吧！”
公元354年二月，东晋分三路开始北伐，其中第一路桓温自江陵率四万步兵、骑兵北伐，取道武关入关，又命水军自襄阳进至南乡郡；第二路梁州刺史司马勋也经子午道北伐前秦。桓温先派第三路桓冲进攻上洛，俘获前秦荆州刺史郭敬（这位石勒的恩人还真长寿），于是进击青泥城。前凉秦州刺史王擢见司马勋攻打前秦西部，于是进攻陈仓以作响应。前秦皇帝苻健面对桓温大军北伐，派遣太子苻苌、丞相苻雄等人率兵五万驻扎在峣柳以作抵抗。四月，桓温在蓝田县与苻苌等军大战，晋兵在桓温的统率下大败秦兵；同时桓冲也在白鹿原击败了苻雄军队。桓温在大败前秦军队后就继续向长安进发，挺进到灞上。当时苻苌等军队只好退兵据守在长安城南，苻健将长安的全部家当精兵三万人，交给大司马雷弱儿等人指挥，并与苻苌会合，只留六千老弱士兵留守长安城。当时前秦首都长安危急，长安周边各郡县官吏都来向桓温归降。顺阳太守薛珍劝桓温直逼长安，但桓温不听从，驻屯灞上后就没有一鼓作气，渡过灞水，却一直与前秦军相持。桓温发出告示，对当地百姓进行了安抚，让百姓安居乐业。百姓们欢天喜地，都牵了牛，备了酒，到军营慰劳晋军。一个白胡子老头流着泪说：“自从刘琨、祖逖之后，都三十年了啊，终于又见到朝廷的官兵了！”
另一个白发苍苍的老太太哽咽着说：“那些胡人太猖狂，太野蛮了，他们把中原百姓糟蹋苦了，老百姓就盼着朝廷大军来解救了，你们可来了！”
桓温也激动地流下了眼泪，他说：“百姓们受苦了！在南方的朝廷一天也没忘记你们啊，一直想着要完成北伐大业呢！”
百姓们哭声一片：“苦日子终于熬到头儿了，老天睁开眼了！”
“保佑咱们的朝廷大军打胜仗，早日赶走那些豺狼禽兽吧！”
……这个时候，桓温在他的中军大帐接见了一个特殊人物——布衣平民王猛说是“布衣”，也许算是“抬举”他，因为他穿的其实只是破黑麻布衣服。而且大概是因为生活条件恶劣，没有太阳能、浴霸、热水器等设备，所以这个小伙子半年六个月洗不上一次澡。所以他的麻衣里边生了不少虱子。桓温见来了个其貌不扬的小伙子，便考问他如何看待当前的时局。王猛坐在营帐的板凳上，一边从破袄里边捉着一个个的虱子，用两个手指甲“啪”、“啪”的挤掐着，一边旁若无人地谈论着晋、燕、秦等几个大国的形势分析。并且谈论起来如数家珍，滔滔不绝，其深刻的洞察力和透彻的剖析，令桓温及其谋士郗超、王珣、袁宏等人都不由得对他刮目相看。桓温见此情景，心中暗暗称奇，脱口问道：“我奉天子之命，率领十万精兵讨伐逆贼，为百姓除害，而关中豪杰却无人响应，没人到我这里来效劳，这是什么缘故呢？”
王猛直言不讳地回答：“您不远千里深入到敌后，长安城近在咫尺、唾手可得，而您却不渡过灞水去把长安城拿下，大家摸不透您的心思，所以不来。”
这句话一下子点到了桓温的要害：因为他一方面是为朝廷为百姓北伐，另一方面是为了自己壮大实力。如果收复关中，只能得个虚名，而地盘却要归于朝廷；与其消耗自己的实力，彻底歼灭苻健，为他人做嫁衣裳，不如保存实力，留着敌人为自己拥兵自重，跟朝廷讨价还价……桓温听了，半天无言以对，越发认识到面前这位穷书生非同凡响。过了好半天，桓温才抬起头来慢慢说道：“江东没有一个人能比得上您的才干！”
临告别时，王猛提醒桓温：“大军远征，粮草充足是最重要的。”
桓温说道：“哈哈，这点儿我也想到了。”
他想的是远水不解近渴，过几天必须抢收当地的麦子，以补充粮草不足。但是，仅仅两天之后，他的谋士们前来报告：“当地的麦子已经被苻健的大军提前抢收了，而且他们还在长安周边实行了坚壁清野。”
“啊！”
这个“噩耗”彻底打碎了桓温就地取材的美梦。同时，桓温的迟疑也坐失了良机，造成战事被动和失利。前秦苻雄先率七千骑兵攻击司马勋，并在子午谷击败了司马勋。然后集中兵力与桓温在白鹿原大战，打败了桓温。顺阳太守薛珍在多种场合大发牢骚：“……你们说说，我早就劝桓温趁热打铁，一鼓作气拿下长安，把苻健全军消灭。桓温不听我的，太过迟疑，才有今日之败啊。哈哈，什么大将军啊？草包一个啊！”
桓温得知后，下令处死了薛珍。在粮草不济，士无斗志，吃了败仗的情况下，桓温只得退兵。临行前，他赐给王猛华车良马，又授予王猛都护（掌管边地军政和少数民族事务的长官）一职，请王猛一起南下。王猛心想：在江南士族门阀体制下，论“拼爹”，我只好甘居下风，很难有所作为。当年张宾他爹张瑶好歹还是中山太守呢，结果张宾不也是潦倒落魄只好效命于胡人吗。我这“八辈贫农”出身的就更是马尾巴穿豆腐——提不起来了；桓温是个有野心的人，追随他则等于助其篡晋，势必玷污清名。咳，该不着自己出山，还是继续隐居读书吧。于是王猛婉言谢绝了桓温。桓温不得不在六月携带着关中三千多户人向江南退却。另外还有灞上的豪族呼延毒率领族众一万人也跟着来到江南落户。秦派太子苻苌领兵随后追袭，晋军屡次失败，但苻苌也中了乱箭去世。桓温刚占领的关中之地又都丢失了。桓温的第一次北伐至此结束。桓温的这次北伐比殷浩的北伐比多少强点儿吧。晋穆帝派遣使者到襄阳对桓温大军进行了犒赏劳军。掌控朝政的“大军阀”桓温感觉殷浩还是有才能的，便写信给殷浩，打算任用他担任尚书令。