中路日軍第116師團和第68師團在日軍總攻長沙之前，即已於6月13日和16日分別輕易地佔領了株洲及清江鋪。守軍暫2軍退守淥水南岸。配屬第116師團的第68師團第133聯隊則西進，佔領了湘潭。守軍新23師退至漣水以南，轉移到東臺山一帶。
6月19日，第116師團(附第68師團的第57旅團)由株洲附近西渡湘江，分兩路各沿湘江西岸及易俗河向衡陽前進;第68師團(欠第57旅團)由石亭附近渡過淥水，擊退暫2軍後沿湘江東岸向衡陽急進。第68師團於23日即已突抵泉溪市附近，並渡過耒河，擊退暫54師的警戒部隊。
24日傍晚，以一部西進，進攻五馬槽衡陽外圍陣地，主力經赤水塘西渡湘江，向衡陽以南迂迴。迄27日，日軍第116師團進至衡陽城西郊，突破守軍第3師陣地，逼抵瓦子坪、虎形山主陣地前;第68師團一部突破五馬槽第190師前進陣地和馮家衝主陣地，並攻佔了飛機場;主力則突破衡陽城南黃花嶺、歐家町預10師的警戒陣地，進至鐵路線預10師的主陣地前。至此，衡陽已處於日軍的三面包圍之中。
衡陽位於湘江中游，系粵漢鐵路和湘桂鐵路的交會點，是第九戰區的重要戰略基地之一。該城東端緊臨湘水西岸。防守衡陽的部隊爲第10軍，下轄第3師、第190師及預10師。第190師及暫54師原在湘江以東，日軍第68師團獨立第64大隊攻佔湘江東飛機場，將190師及暫54師從中間割斷後，第10軍爲集中兵力、縮短防線，於26日夜將該兩師調回湘江西岸衡陽市區。
其中第190師是後調師，僅有1個第570團是個完整的團，其餘各部均僅有幹部;第3師有1個團尚在衡山附近。另外還配屬有暫54師(欠2個團)及48師的戰防炮營、第46軍的1個山炮連和第74軍的野炮營。此時在衡陽的防禦部署是:第3師防守衡陽西北部，預10師防守衡陽西郊，第190師防守衡陽南郊，暫54師防守衡陽北郊。
6月27日夜，日軍完成了攻城的準備 。6月28日拂曉，日軍發起總攻。守軍各部隊在炮火支援下堅守陣地，並不時予以反擊。激戰終日，日軍毫無進展。第68師團師團長佐久間爲人及其參謀長原田貞三郎等被炮擊負重傷，由第116師團師團長巖永汪統一指揮兩師團。
29日日軍仍毫無進展。巖永汪將衡陽以西四塘附近擔任側背警戒的第133聯隊投入戰鬥，與炮兵第122聯隊協同，企圖於7月1日進攻城西堅固據點張家山。激戰至7月2日，除主攻方向上經多次反覆爭奪的張家山被日軍第133聯隊攻佔外，其他方面的守軍均擊退日軍的多次進攻，守住了陣地。由於守軍的抗擊，日軍連續猛攻5日，損耗了大量人員和彈藥，僅推進了1000米。
第11軍爲補充彈藥和休整戰力，決定於7月2日夜暫停進攻，預定7月11日再重新發起進攻。守軍爲增強防守力量，乘日軍暫停攻擊之機，調第3師留置衡山附近的第8團歸建。該團於5日8時許從何家塘、望家坳間突破日軍包圍圈，衝入城中。
由於日軍主攻方向始終保持於城西南郊，守軍爲加強該方面的防守、徹底形成重點，重新調整了部署:令第3師(欠第7團)南移佔領天馬山、嶽屏山、接龍山、五桂嶺高地，建立第二線陣地;第3師所遺城西北防務，除易賴廟的前街及青山街、楊林廟主陣地仍由第7團防守外，其餘均交由第190師接替;湘江西岸的警戒，以鐵爐門爲界，以南由暫54師負責，以北由第190師負責。
中路日軍進攻衡陽期間，東路日軍第3、第13師團連續攻佔攸縣、安仁、進抵耒陽;西路日軍第40師團亦已攻佔衡陽西北僅35公里的渣江，衡陽守軍已完全陷於孤立。但在西路日軍後方，守軍第30集團軍曾實施反擊，6月28日收復萍鄉，7月4日進攻醴陵，幾乎全殲日軍騎兵第3聯隊。日軍第27師團等部隊前來增援，於10日又奪佔醴陵。
日軍第68、第116師團經休整補充及加強炮兵後，於7月11日上午開始第二次攻擊。此時第68師團已由堤三樹男接任師團長。第116師團的120聯隊在其飛行第44戰隊、野炮兵第122聯隊及獨立野炮第2聯隊掩護下，向城西南預10師第一線陣地要點虎形山發起猛攻。
激戰至12日9時，守軍傷亡重大，陣地爲日軍突破。第3師抽出1個營增援反擊，經白刃戰後，營長陣亡，士兵死傷四分之三，未能收復陣地，退守西禪寺。
激戰至15日，第一線陣地多處被突破，第二線增援部隊經反覆爭奪，又收復一些要點，兩線陣地犬牙交錯，戰鬥極爲激烈。第10軍爲加強城西南的防禦縱深，又令第190師在接龍山、雁峰寺、中正堂一帶建立第三線陣地。迄16日，第一線陣地楓樹山、軍艦高地等俱爲日軍突破。第10軍遂將第一線陣地全部放棄，以第3師及預10師殘部合力防守第二線陣地。
此時，城西郊日軍第57旅團亦已推進至距小西門不足1000米之處。由於守軍防禦正面縮小，所以人員傷亡雖衆，防守強度和火力密度卻減少甚微。7月17日、18日，日軍進攻勢頭下降。經連日激戰，日軍主攻方向上的第116師團第120聯隊聯隊長和爾基隆大佐及第133聯隊的3個大隊長相繼被打死，每大隊所餘兵力不足100人，而且彈藥已嚴重不足，攻堅戰鬥已難以爲繼。日軍第11軍不得已再次下令於19日起暫停攻擊。
軍事委員會雖早在日軍圍攻衡陽之前即已令王陵基指揮第72、第58、第26軍，楊森指揮第20、第44軍，歐震指揮第37軍、暫2軍，王耀武指揮第73、第79、第99、第100軍等夾擊日軍，後又數次電令各兵團"乘敵後空虛，擊破進犯之敵"和"掃蕩當面敵人"，令李玉堂、王耀武"速解衡陽之圍"，但衡陽外圍各兵團在東、西兩路日軍的阻擊下有時連守都守不住，被迫不斷後撤，當然更無力擊殲兩路日軍、解衡陽之圍了。