第二天，東海王便傳檄天下，鼓動中原方鎮都上疏長安，要求天子回京師，向河間王施加政治壓力，字裡行間卻隻字不提討伐河間王。
東海王又請名士繆胤、繆播去說服河間王。其二人均非一流名士，但繆胤既是東海王前妃弟，又是河間王表弟，兩面吃得開。而繆胤族弟繆播是東海王心腹，繆播的父親是東海王父親的僚佐，所以東海王極看重繆播。
送走繆胤、繆播，東海王即命劉琨前去攻取虎牢關，勿被談判干擾。
虎牢關，又稱汜水關，在洛陽以東，離洛陽只有一百多裡，今河南省鄭州地區西北部的汜水鎮境內。它作爲洛陽東邊門戶和重要的關隘，因西周穆王在此牢虎而得名。南連嵩嶽，北瀕黃河，山嶺交錯，自成天險。史書記載：虎牢關壁立千仞，南連嵩嶽，北臨黃河，唯有西南一深壑幽谷通往洛陽，有“一夫當關，萬夫莫開”之勢，是東都洛陽的門戶。從東面和北面趕來，必須過虎牢關。由於地扼要衝，歷史上許多軍事活動均發生於此。
虎牢關前，三英戰呂布。讓虎牢關名垂天下。可其實這一場戰爭卻是虛構的。袁紹盟軍還在虎牢百里之外，黃河北岸吃‘酸棗’。而孫堅和袁術是從洛陽正南殺過去的，不用走虎牢關。在太谷關大戰董卓軍。
真正使虎牢關成名的是劉邦、項羽的成皋之戰和李世民的虎牢關之戰。尤其是唐初虎牢關之戰，一舉消滅王世充、竇建德兩大軍閥。在歷史上非常聞名。
虎牢關之戰被唐人改的精彩異常。越細看越模糊。李世民單騎拖後，連續射倒三將，嚇退一千追兵。終成‘天策上將’。人家這一千騎兵不能和他對射嗎？
其實是李世民採納郭孝恪 的建議：“竇建德遠來，糧運不便，這是天要亡他。大王應固守虎牢，屯軍汜水，到時隨機應變，殲滅他們就很容易了。”
唐軍率先兵進虎牢關。依託虎牢關。先防守一個多月，使竇建德軍疲憊不堪。最終以少勝多。郭孝恪只靠這一個‘固守虎牢’的建議，事後被封‘上柱國’。
在中國歷史上長城內的軍事關隘，數潼關和虎牢關最爲聞名。
接到東海王軍令。劉琨率原部八千步騎兵火速殺到虎牢關前，但見虎牢關兩面連山，封住路口，雄關漫漫。劉琨就與衆將領商議，如何奪得虎牢關。
溫嶠建議急攻虎牢，而黃肅卻建議暫緩進攻。黃肅出身軍旅，對戰爭有一定經驗，他對劉琨說：“以往我晉軍攻城，多備攻城器械，像雲梯、衝車。投石車一類，種類繁多，還有強弩直射城中。現如今羣雄並起，都是匆匆組軍，各種攻城器械不足。如若強攻，就算勉強攻下，也會損失慘重，於己不利。”
劉琨素來敬重黃肅，聽到此話猶豫不定。溫嶠畢竟熟讀軍書，聽到黃肅所言，也覺強攻不妥。就對劉琨說：“我們不如先試着攻一下，如果敵人頑強防守，我們就再後退建造雲梯等工具。如果他們擺空城計，咱就賺到了。”
於是，劉琨命溫嶠率一千勇士攻城，而自率一千騎兵在後督陣。負責向城上放箭，掩護攻城。而黃肅帶剩下的數千步兵在後督陣，以防不測。
黃肅陣中鼓聲通天，溫嶠率一千人強行攻城。劉琨令一千騎兵策馬於城下，向城牆上放箭。溫嶠陣中只有數把長梯。長梯搭在城牆之上，勇士舉着盾牌向上攀爬，而城上一部分人與劉琨騎兵對射，一部分人投下滾木壘石。一時之間城上城下煙火瀰漫，騎兵快速奔馳，一旦發出劍雨便飛馬向後奔，以防被敵射中。
城上軍士衆多，應付還比較自如。半個時辰之後，溫嶠軍士仍然未能攻上城樓，還損失慘重。劉琨眼見得雄關無法攻下，爲防止溫嶠受傷，就有心下達撤退命令。誰知這時，城上呂朗 發現，劉琨躍馬在城下助攻。於是心生一計，命幾十名軍士同聲狂喊：劉琨被射死了！然後對副將說：“去城下典齊四千兵士，聽我號令，如若敵人撤走，命你火速追擊。”
戰事正在焦灼之時，但聽城上高呼：“劉琨被射死了!”
城下攻城將士早已死傷二三百人，無心戀戰，一聽己方主帥被射死，就開始有人往後跑，不遠處高坡上黃肅的主力軍陣也開始亂作一團。
劉琨心想：壞了，這是敵人在亂我軍心，如這時一退，敵人必然出擊。情急之下，劉琨再也不顧得個人安危，躍馬從騎兵陣型中奔出，向攻城將士那邊飛奔，邊奔便向城上喊話的敵軍射箭。來回三次，城下攻城的部隊和遠處黃肅步兵看到主帥親冒矢石，在城下來回狂奔，知道劉琨並未戰死，都歡呼雀躍。劉琨聽到歡呼，知道軍心已安，於是把馬後撤，須臾間來到黃肅面前，對黃肅說：“鳴金命溫嶠收兵。”
黃肅陣中鳴金收兵，攻城的溫嶠和城下的騎兵都退回到主力方鎮之中，而主力方鎮並未後退。
樓上守將呂朗 見攻城之敵退卻，但都回到主力陣營之中，而主力陣營卻旌旗招展，一片肅然，便知敵人訓練有素，打消了出城決戰的念頭。
等了一會，見城中敵軍並不出戰，黃肅就對劉琨說道：“末將願領一千人再攻他一次，若向城中放‘火箭’，或能成功。”
古代城小，城中房屋木料太多，最怕火攻。劉琨心中明白，但是不想傷及平民，還是下令騎兵拖後，全軍徐徐後退。
經此一役，劉琨不敢再貿然攻城，而是兵退二十里，在一條河後紮下營寨 ，派人砍伐樹木，趕造攻城器械。
而這時東海王四弟南陽王司馬模守鄴城，被成都王穎的餘孽——汲桑、石勒等騷擾得不亦樂乎。東海王被迫請堂弟范陽王與司馬模換鎮，司馬模去許昌，而由能力更強的范陽王帶劉輿守鄴城。