日軍首先攻擊芙蓉山外圍陣地巖口鋪，守軍只有一個連的兵力，一個連196名官兵遭到5倍於己的1000名日軍四面圍攻居然堅守小鎮12天，以陣亡排長以下官兵17人，傷31人的代價，擊斃敵大尉田丁由五郎以下190餘人，直至29日才奉命並於毗鄰芙蓉山的獅子山據點。
10日內，日軍始終無法突破國軍芙蓉山陣地，只能繞過芙蓉山。第一階段得芙蓉山爭奪戰，日軍以3000主力並有獨立山炮第2聯隊以及獨立工兵第40聯隊等攻堅部隊助戰，居然無法突破一個半美械團得外圍陣地，而且傷亡慘重。
日軍戰史中胡吹什麼"敵人全美械裝備，火力極爲強大"。不過下面的敘述倒是真的:中國軍鬥志旺盛，彈藥豐富，自動武器極多，陣地構建巧妙且火力強大，日軍即使佔領一處陣地也會遭受四周火力急襲。
芙蓉山的固守對整個會戰極爲重要，日軍始終不能突破芙蓉山而利用湘黔公路，兵員、輜重輸送必須繞山區崎嶇小路，時間及精力耗費嚴重，補給線更爲延長，極大影響了日軍戰鬥力的發揮，從而加速了日軍的戰敗。
日軍繞過芙蓉山以後，全力進攻洞口鎮。洞口守軍爲19軍57團一營，他們利用極險峻的地形，把陣地如貨架子一樣層層構築在山樑上，並設有掩蓋槍位的鹿砦，而且陣地的前方是廣闊的水田，視野很寬，輕重武器交叉射擊，組成極濃密的火網，給日軍的攻擊造成了極大障礙。
日軍只得又使出了特攻術，守軍措手不及，洞口鎮被日軍攻陷。此時中國軍隊已經在洞口周圍集結，將洞口守軍包圍。
第二路，109聯隊。該聯隊在4月18日因爲無法突破芙蓉山只得迂迴到隆回司一帶，而此處正是中國軍隊兵力最爲充分的主陣地，最終導致109聯隊被全殲。堅守芙蓉山的19師功不可沒!
4月21日，日軍109聯隊進攻中國軍隊19師防區，中國軍隊56團正面抵抗，55團則從後迂迴進攻。敵軍大亂，各部向後退卻。因爲日軍佔領地形都是連綿高地，中國軍隊火炮無法準確集中，如果想奪取陣地必須和日軍近距離。
4月22日到23日，二團出動幾營發動白刃戰。56團團長劉光宇親自手持刺刀帶二營士兵衝殺，日軍士兵也不示弱，雙方激烈廝殺，日軍終於不敵潰散，中國軍隊佔領全部高地。
4月23日，100軍藉助大霧發動進攻，109聯隊隨即反攻。雙方激烈交火，第51師師長周志道親自持手槍去一線督戰，一線中國軍隊見到師長都士氣大振。
51師進攻採用美式方法，首先以重炮轟擊，之後步兵發動衝鋒，遭遇日軍頑抗再使用迫擊炮精確打擊。日軍很快不敵，僅僅一天109聯隊就被擊潰，大部後退入山區。
4月21日，日軍進攻高沙市和山門鎮，守軍57師和日軍激戰四天。4月25日116師團主力到達發動猛攻，雙方旗鼓相當，戰事膠着。4月下旬，中國軍隊50師、19師、63師與敵在江口、青山界、松山、圭洞，雙方攻守，勢如拉鋸，激戰20晝夜。
5月12日，殘敵100餘人被151團包圍殲滅;13日中午12時戰鬥結束，歷時27天，斃敵700餘人，合葬於倭寇墓;中國軍隊犧牲400餘人，合葬於英雄界。
4月16日敵109聯隊第一中隊佔領青山界，4月29日，中國軍隊19師55團組織200餘人"敢死隊"與日軍肉搏，奪回青山界，斃敵244聯隊400餘人。
至此，日軍各路進攻作戰全線失敗，大部分部隊只前進了不到30公里，而前進最前方的日軍109聯隊(6000多人)還被中國軍隊包圍十分危險。
而且四方面軍和27集團軍只投入了一線幾個軍，就已經擊退和重創日軍，中國軍隊大量預備隊尚沒有使用。四方面軍參謀長邱維達中將(黃埔四期)認爲日軍攻勢已被阻止，而且日軍主力已經被中國軍隊打散。此時應該立即投入預備隊在日軍撤退之前將其主力圍殲。
5月4日何總司令批准了邱將軍的建議，下令第一階段防禦作戰結束，各部準備第二階段的全線反擊。日軍第六方面軍和第二十軍也在激烈爭議是否應該退兵。此時遭遇中國軍隊嚴重打擊的116師團長巖永汪和第47師團長渡邊洋聯合發電報給南京的岡村寧次，要求中止芷江作戰。
他們認爲右翼左翼日軍都已經慘敗，中路日軍不但沒有攻陷任何一個重要據點，而且109聯隊被圍，其他各部也損失慘重。而且國軍芙蓉山陣地無法攻陷，日軍只得依靠山間小路少量運輸，不時遭受國軍游擊隊和空軍打擊，彈藥和給養基本斷絕。
5月1日，94軍奉命向68師團進攻，94軍第5師爲主攻部隊，26軍第44師配合作戰。
此時日軍68師團二殘部已經在武陽附近會合，其中主攻武岡的一部數千人仍然有一定的戰鬥力。不過此時日軍士兵奉命挖壕固守但是實際已經毫無鬥志。
5月1日，國軍進攻部隊剛和68師團外圍部隊接觸，日軍只得向後潰退。
5月2日，第5師主力強攻日軍馬鞍山主陣地，半日內就佔據大多數日軍制高點，日軍紛紛向核心陣地退卻。第44師也進展順利，將日軍壓縮至數裡的區域內。
5月3日，國軍二師發動總攻，日軍58旅團拼死抵抗。國軍這二個師都只裝備少量美械，火力和日軍相比並沒有優勢，於是果斷的採用近戰。日軍很快不支，前線向萬福橋核心陣地退卻。
此時國軍已經組成了一個突擊隊，由第5師15團組成，由第5師副師長邱行湘指揮。他們在當地少數民族山民的帶領下，偷偷繞到日軍側面，突然衝入日軍萬福橋主陣地。國軍衝入指揮部當場打死200多名各級軍官，旅團指揮全然癱瘓。
另一部衝入日軍炮兵陣地，日軍炮兵丟下大炮四散逃跑，國軍繳獲全部日軍大炮。國軍趁機強攻，日軍整個旅團全線崩潰，除了115大隊以外被國軍全殲。