洛陽五校營變亂的同一日，石勒在衆將的一再勸說下，終於下令退兵。
他當時雙手攙扶起跪在面前的孔萇，目露悲悽之色，徐徐說道：“朕本幷州躬耕一小羯，其後動亂，被賣爲牧奴，復與卿等十八騎縱橫於趙魏之間，乃得舉兵，竟敢圖謀天下——迄今已十五六歲矣。想那漢高祖，本沛上小吏，漢光武，陳留秀才，漢光文，胡部貴帥……古來帝王，出身絕無比朕更低微者。
“能以奴隸而至南面稱尊，上天待朕亦厚，惜乎朕未能把握機會，復欲僥倖走險，乃至於此。然而富貴已極，平生強敵，如王彌、苟晞、王浚等，亦皆爲朕所殺，還有何憾哪？本欲就此自絕，當不輸於項羽在烏江，或可使後世讀史者抉一捧淚，奈何卿等……
“卿等十八騎，自隨朕以來，時有傷損，數年之間，即喪冀保、劉鷹、劉徵、劉寶、張噎僕、張越、孔豚、趙鹿……呼延莫也陷身於賊，所餘唯卿等。朕又怎忍心卿等因朕之過，伴朕而死呢？爲今之計，只有從卿之言，暫且退兵，嚴守河北，或許卿等尚有得盡天年之望……若卿等俱亡，朕也唯有從卿等去了，區區國家，何足道哉？！”
但是石勒也知道，想要在敵前撤退，不是那麼容易的事情，於是先命不撤營中旗幟，以惑晉人，而自率大軍潛出，退向敖倉，復自敖倉沿河北遁。他下令留下釐、隴、管三城守兵，由郭黑略統領，作爲阻擋晉師的第一道防線；命桃豹守備卷城，作爲阻擋晉師的第二道防線；餘衆俱退。
計劃大軍分三部分，一部由扈亭北渡，二部由銅關北渡，三部自棘津、文石津方向北渡——這是因爲十來萬大軍，即便有足夠的船隻，若經一處涉渡，也不可能短短數日內便即全過黃河，一旦被晉人追及，堵在河岸上，則必致慘敗哪。
至於祖逖得知李矩收復州縣的消息，則比石勒要晚一天——終究敖倉、扈亭等處全都掌握在趙軍手中，滎陽也被三面包圍，李矩的信使想要穿越重重封鎖，順利進入滎陽城內，不是一件容易的事情。好在李世回真正是黃河中游的地頭蛇，昔曾於河內、滎陽等地與胡軍長期周旋，不但地理稔熟，就連很多附羯的塢堡，也都與之暗通聲氣，所以雖然晚了一天，信報還是順利傳入了祖逖的耳中。
倘若南下傳信之人全都失敗，被迫要先自河南涉渡，經成皋趕往滎陽，估計就徹底不趕趟了。
祖逖得報，不禁大喜，急忙親自登上城頭，覘看羯軍營壘，待下城後便召聚諸將，說：“河內戰局大好，羯賊因此而退，這正是我轉守爲攻的大好時機！”
許柳質疑道：“賊若退去，成皋關上必然先得訊息，應當燃烽點火，通報於我。而今卻並不見烽燧……”
祖逖笑道：“石勒素知兵，豈有敵前退兵而不加掩飾的道理啊？其於關下，必然虛壘以惑王愈。我方登城覘看敵營，往日即便不來攻城，萬衆所聚，必有殺氣騰空，化爲陣雲，凝結不散；而今旌旗雖舉，晴空卻絲毫無滓，此必退去矣！”
其實殺氣化陣雲之說，出於兵陰陽，祖士稚本人是不大信的，他也肯定瞧不出來。但打老了仗的人，一見敵營，便本能的有所判定，純出直覺，沒法跟諸將解釋，那就只好把套話給搬出來了——
“此時出城急追，必可大敗羯賊，若然延挨，使其輕鬆遁去，那便悔之無及了！”
於是當即分派諸將，命張平去收復敖倉，然後沿河東追；樊雅去攻圍釐、隴等城，自軍合後，嘗試前出；同時遣馮鐵率驍騎軍自隴、管二城間突破，直向陽武，一方面堵截羯兵，另方面通知陽武城內的祖濟，可以就此展開全面反攻了。
“喀啦啦”聲響，滎陽東、北、南三門緩緩打開，晉軍蜂擁而出。出東城的樊雅先與城下列陣，隨即直搗羯壘，果不出祖逖所料，座座都是空營。樊雅大喜，當即高呼道：“羯賊進退，全在祖公料算之中。彼今退去，必無戰意，我等銜尾而追，可獲大勝——破賊立功，只在今日！”
晉軍最近半個月裡一直被趙軍逼着打，雖然因爲祖逖佈劃得當，並無大損，將士心中也難免憋悶，忽然一朝轉守爲攻，胸中惡氣得以盡吐，自然人如猛虎馬如龍，個個精神抖索，士氣高昂。相比之下，郭黑略所部被留下防守釐、隴等城，在氣勢上就天然地矮了一頭。因而樊雅前出，分兵圍攻諸城，趙軍只能固守而已，並不敢出城來戰。
祖逖、馮鐵等因此順利突破羯軍防線，直向卷縣、陽武方向殺來。
再說張平順利收復了敖倉，不敢休歇，沿着黃河南岸一路東追，於當日黃昏時分抵達了扈亭。趙軍一部方在扈亭搶渡，因爲沒想到晉人來得那麼快，尚有小半未及下船，結果被晉軍一輪衝鋒，將部伍徹底打散，拋屍河中者不下千數，餘或奔向卷縣，或者跪地請降。
翌日，祖逖與張平在卷縣城下合兵一處。桃豹緊閉四門，拼死守護，使得晉軍的第一輪攻勢未能奏效。祖逖見城上並無石勒的大纛，乃留下張平繼攻卷縣，自率精銳六七千衆，自卷縣以北向東，循河急追。
晉軍兩日間疾行百五十里，等到抵達銅關對岸之時，迎面便撞見了第二批北渡的羯軍。原本石勒退兵的謀劃頗爲謹嚴，但終究是倉促撤退，他身邊的參謀班子也不如關中樞部那般，慣常分析數據，製作預案，遂導致一招失算，全盤被動——套用後世的話來說，這份計劃的容錯率太低了。
終究羯軍所準備的船隻，是遠不夠將十多萬人馬及相應物資，一兩日間便運送過黃河去的，因而計劃第一部分先在扈亭北渡，然後船隻順水放下，再在銅關接應第二批兵馬……然而晉人反應得實在是太快了，張平在扈亭不但擊潰了小半待渡的羯兵，還順便繳獲了不少舟船，這就使得銅關方向的渡河效率變低，速度更爲緩慢。
祖逖到時，河岸上尚有數萬羯兵待渡。他自知遠來疲憊，且兵不足萬，倘若直衝羯陣，未必能有勝算，因而只是排列方陣，高張旌旗，鼓角聲震天動地地緩緩直迫過去。趙軍嘗試突擊，卻被晉兵擊退，於是士氣大墮，爭相搶渡，落水而死者無算。祖逖見此情景，方纔喝令部曲王安舉旗——他自己一手控繮，另一條胳膊還用繃帶吊在胸前呢，實在是舉不起來——全軍掩殺過去。
羯軍大潰，逃得漫山遍野都是，趙將逯明拼死抵抗，卻終被亂箭穿身而死。
雖敗羯軍，並且斬獲了逯明的首級，祖逖卻並不甚喜，他鼓舞將士道：“陣前不見石勒大纛，料彼必東向燕縣，妄圖於棘津或文石津北遁。即便殺一百個逯明，也不如殺一個石勒——但得石勒首級，天下可定！卿等尚有餘勇可賈，隨我繼續西向否？！”
晉軍上下，無不攘臂高呼，誓死追隨。
當然祖逖也知道“百里而趨利者蹶上將”的道理，終究人的精力有時而窮，倘若自己不顧士卒疲累，冒冒失失繼續往前衝，一旦石勒命將守險斷後，難免會遭受大挫。再者說了，石勒就算是逃跑，他晚上也要歇腳睡覺啊，自家也不必要太趕。
於是下令，立營休歇，以待明日四更造飯，五更啓程，繼續追擊。
可是營壘纔剛紮好，祖逖本人還在巡視各處，來不及休歇，忽有快馬自洛陽而來，傳遞緊急消息。祖逖一開始並不以爲意，心說難道是有敗散的零星羯兵攀山或經南路躥入伊洛，所以朝廷上那票文吏感到害怕了，想我分兵前去剿除麼？我方大破羯，這會兒洛陽能有什麼事兒啊。
可是等他打開公文來細細一瞧，不禁大吃一驚，面色瞬間便陰沉下來。
公文上寫的啥呢？原來是通報祖逖，說朝廷因成皋關危急，乃發制書召祖渙歸洛助守，誰想前軍未還，裴丕先以統一軍令爲藉口，率領右衛去奪五校營。明達守五校營，無令不肯相讓，裴丕乃悍然破門而入，雙方就此起了衝突。衝突之中，也不知道哪兒飛來的幾支流矢，無巧不巧，正中裴丕，竟然把他當場給射死了！
祖逖看到這裡，不禁破口大罵道：“荀道玄荒謬，如何能使中官將五校營？而即便使中官將，裴丕若欲取，與他便了，何必爭執！”
要說祖逖一門心思只撲在軍事上，對於政治局勢完全不理不睬，那也是不可能的，裴該大勢將成，或有篡僭之意，他也不會毫無察覺。終究當年二人在建康城外同榻而眠，抵足夜話的時候，從裴該嘴裡就聽不到什麼對司馬家的好話來，則裴該素輕天家，祖逖亦深知也。
這事兒也好理解。一則司馬家的權威確實因爲最近十來年的喪亂，已經跌落谷底了，包括祖逖在內，很多士大夫仍然扶保司馬鄴，多半出於一種思維上的慣性，真若捫心自問，祖士稚自己也不敢說自己能有多麼忠誠。二則裴氏清華顯貴，幾執世家之牛耳，晉朝本來就是一個類似於士族聯合執政的政權，則裴氏不滿司馬，甚至起取而代之的妄念，也並不出奇啊。
尤其裴該之父裴頠就是被姓司馬的（趙王司馬倫）所殺，則他若不怨懟司馬氏，不但愚忠，還將害孝，他怨懟司馬氏，反在情理之中。
祖逖跟裴該的交情是很深厚的，而唯其深厚，在某些方面，他反倒比裴嶷等人更加了解裴該——那小子，不是肯屈居人下之輩啊！
所以很多事，其實祖士稚心裡有數，只是不願意往深裡想罷了，他總覺得以裴該一慣的秉性，什麼事情都可以放到平胡滅羯後再作打算。只是最近這幾年自己因爲生病，在東線幾無寸功，裴該卻不但收河東、晉陽，不久前還拿下了太原……祖逖自忖，倘若在這個接骨眼兒上，兩家起了齟齬，甚至於分裂，他還真未必能夠打得過關中軍——況且石勒還在自己身後！
作爲一個軍政集團的領袖，祖逖也自然明白，這首腦的位子必須要順應集團內大部分人的意願，纔有可能坐得穩，一旦關中羣吏都希望裴該更進一步，不但裴該無可阻攔，就算想要拖延時間，也是相當困難的。那麼裴該欲取晉祚，荀氏不足慮也，他眼前唯一的絆腳石，無疑就是自己了。
身在滎陽，祖逖也往往在夜深人靜之時被噩夢所驚醒。夢中所見，就是他最擔心的，裴該趁機揮師入洛，殺戮公卿，威逼司馬鄴禪位，然後掐斷了自家的糧運……於是中軍在裴、石的夾擊下，徹底崩潰，祖逖本人也淪爲了階下囚……
夢境自然把心中憂慮放大了，驚醒後細細思忖，裴該應該不至於那麼兇殘和無情吧？即便他揮師入洛，只要自己那個異母兄長別當面頂撞，性命當可保全。至於掐斷己軍糧道，那不反倒便宜了石勒麼？裴該向來恨石勒和羯趙入骨，應當不會爲此親痛仇快之事吧。
所以他才召喚裴丕入洛，也是爲了向裴該釋放友好信息——咱們是友非敵，我把洛陽城都讓給你兄弟了，你就容我打完這場仗，有什麼事兒過後再商量好嗎？至於裴丕可能趁機謀奪宿衛之權，祖逖是早有心理準備的，也不打算攔阻——他是右衛將軍，在領軍將軍和左軍將軍不在的情況下，論理可將宿衛啊。
反正我在外御羯的這段時間，裴該若想歸洛篡權，那誰都攔不住，與其裴文約親將大軍殺至，還不如裴盛功先期入城，或許所遭受的反抗還會輕一些，不至於殺得血流成河。真若是在洛陽城內鬧出什麼大亂子來，那除非自己主動俯首請降，否則敵對之勢是絕對避免不了的。
正因爲對局勢看得夠清楚，祖逖纔不象荀氏似的，打算硬頂。而荀邃使中官將五校，在祖士稚看來，根本就起不了什麼作用，徒增笑耳——這又不是後漢，裴丕身爲士大夫，若因閹宦所阻便頓足不敢進，那他臉面往哪兒擱啊？
可是沒想到，明達真的吃了熊心豹子膽，不但敢阻裴丕，還竟然放箭把對方給射死了！這可是把天都能捅一個大窟窿的巨禍啊！