那個時候，國民黨內部思想也很亂，派系對立嚴重，所謂革命形勢越是一派大好，這樣的情況也就越發糟糕。就連在黨內位高權重的蔣介石，其處境也很微妙、很尷尬。
國民黨內部的右派如“西山會議派”，這時認爲蔣介石是赤色分子、共產黨的同路人。而國民黨的左派中又有一種聲音，認爲蔣介石是“新軍閥”。時任代理海軍局局長的共產黨人李之龍曾公開提出，蔣介石要在3個月之內把廣東所有的工廠收歸國有，否則就要以“叛變革命”的名義查辦他。來自蘇俄的軍事顧問，很多的時候也不把蔣介石看在眼裡，讓蔣心裡很不舒服。
西山會議派，是中國國民黨內的右派派別之一，也是國民黨內最堅定的反.共勢力。
孫中山逝世後，國民黨右派公開進行反對孫中山聯俄、聯共、扶助農工的三大政策的活動。
1925年11月23日，國民黨中.央執行委員中的右派分子，林森、鄒魯、居正、葉楚傖、覃振、石青陽、石瑛，中央監察委員張繼、謝持等在北京西山碧雲寺非法召開所謂“國民黨一屆四中全會”，通過了反蘇、反.共、反對國共合作的《取消共產派在本黨黨籍宣言》、《總理逝世後關於反對共產派被開除者應分別恢復黨籍案》等一系列倒行逆施文件，由此“西山會議派”產生。
1926年3月17日，蔣介石在日記裡寫道：“近來所受苦痛，至不能說，不忍說，且非夢想所能及者。政治生活至此，是何異佛入地獄耶。”
可以說在那個時候，他便開始謀劃把共產黨人清除出國民黨了。
這一時期，新生的黨人在指導思想和做法上也出現了一些不成熟的極左傾向。當時的“湖南農民運動”中，農協的刊物如《湖南民報》甚至提出了“有土皆豪，無紳不劣”的口號，不加區別的鎮壓當地的地主、豪紳，沒收其財產。結果，有很多國民黨人和國民革命軍軍人的家屬被列爲“土豪劣紳”，成了揪鬥的對象。這在國民黨看來，簡直是抓反革命抓到自己人頭上，讓國民黨內包括中間派的很多人心生反感。
1927年3月10日，國民黨二屆三中全會在武漢漢口召開。這次會議上，選出了左派人士和中.共.黨.員佔絕對優勢地位的中.央委員會，會議並以“提高黨權”的名義，免去了蔣介石的中.央.主.席、軍.委.主.席，只保留其國民革命軍總司令的職務。
於是，矛盾更加激化，也更加公開化。
在蔡元培等一部分國民黨元老眼中，這樣一來，國民黨幾乎快要被左派和共產黨人架空，國民黨和國民黨人的革命事業到了生死存亡的關鍵時刻，非要出手挽救危局不可了。不管怎麼說，反正這時候的蔡元培，是旗幟鮮明地和國民黨內積極反.共的人走到了一起。
4月2日，國民黨中央監察委員會全體會議上，在吳稚暉提交查辦共產黨的呈文之後，蔡元培亦向大家出示了名爲《共.產黨禍黨證據及共.產黨在浙禍黨之報告》的兩份材料，一份是中.共自二大以來“陰謀破壞國民黨”的種種決議和通告，另一份則是中.共在浙江“阻止入黨”“煽惑民衆”“擾亂後方”“搗毀米鋪”“壓迫工人”等若干條罪狀。
會上經蔡元培同意，還審定了列有毛.澤.東、周.恩.來、陳.獨秀等中共領袖及柳亞子、徐謙、鄧演達等國民黨左派人士的黑名單，共計179人，提請委員會立即採取緊急措施，將這些“首要危險分子”，“就地知照治安機關，分別看管，制止活動”。
此後，在蔡元培的主持下，這些監察委員又開了4次“清黨”密會。
可以說，在國民黨內的派系爭鬥中，這時候的蔡元培是堅定地站在了蔣介石一邊。
蔡元培又在4月9日同吳稚暉、張靜江、李石曾等人一起發出3000餘字的“護黨救國”聯名通電，痛斥聯共政策的種種荒謬，嚴詞指責工農運動，指斥武漢汪精衛等爲首的國民政府與共.產.黨合作，有“亡黨之責”，“大有背於本黨治國之精神，極端毀滅本黨組織之根本旨趣，減少羣衆對於本黨之堅固信仰”。
蔡元培在通電中呼籲全體國民黨黨員，要“念黨之危機，懍喪亡之無日，披髮纓冠，共圖匡濟，扶危定傾，端視此舉”，從而爲蔣介石發動政變做了輿論上的準備。
到了這一年的10月18日，蔡元培在國民黨中.央黨.務學校發表演講，還在向青年學生灌輸他的這一思想：
“本黨在共.產.黨搗亂的時候，下級黨部和農工組織爲他們所把持，不許本黨黨員插足。他們這種方法是很厲害的，是想把本黨的基礎搶了去。他們所做的工作，就是要消滅本黨的工作。共.產黨的農人工人運動，是欺騙農工的運動，不能夠替農工謀實在的利益。”
1927年4月15日凌晨，國民黨廣東當局下令軍警和其他武裝開始在廣州進行“清黨”大搜捕。蕭楚女、劉爾崧、熊雄、鄧培、李森、何耀全、張瑞成、李亦愚、畢磊、譚其鏡、楊其綱、麻植、熊銳、鄒師貞等100多位著名共產黨人英勇犧牲。
僅在蔣介石的老家浙江，至1927年7月15日，杭州、寧波兩地被捕的共產黨人、革命羣衆及國民黨左派就有400餘人，其中117人被“清黨委員會”殘殺。至這年底，全浙江有1805人被捕，其中932人被殺。在另一些省份，更是有過之無不及。在農民運動中遭到打擊的豪紳們這時也紛紛反戈一擊，在地方上積極捕殺共.產.黨人、農.運首領。
清黨運動迅速朝着蔡元培始料不及的方式和規模發展。
清黨之初，浙江清黨委員會槍殺二十餘名共.產.黨人和革命羣衆。
蔡元培知道這件事後，很是痛心疾首，他提出了嚴厲批評：“我們不能隨便殺人！昨天那樣辦，太荒唐！太草率！太不好了！此後必須謹慎注意。”
作爲清黨的最初力推者，他提出清黨務必執行的三原則：抓人必須調查清楚；定罪必須證據確實纔可判決；殺人必須其人罪大惡極，提交清黨委會員討論決定後纔可執行。
爲勸阻濫殺，蔡元培在1928年前後寫下《追懷不嗜殺人的總理》一文。
言道：“總理致力革命四十年，不但政敵甚多，就是始信而終叛的人也不少；然而總理最反對暗殺，一切均以堂堂正正之革命軍行之。軍行時自然不能沒有死傷的人，然這是不得已而殺人，不是嗜殺。以湯薌銘的反覆，並不念他的舊惡；以陳炯明的叛變，還許他們悔過效力；其他類似的人，從沒有宣佈過死刑。總理的不嗜殺人，可以公認了。”
但是，政治鬥爭的殘酷，遠非蔡元培所能預見和主導。這時的蔣介石等這些國民黨內蔡元培的“老同志”，早把總理的風格拋到了腦後，在權力爭奪、殘酷打擊異己的道路上愈行愈遠，蔡元培的規勸早已被這些人當成了耳邊風。
在清黨期間，蔡元培曾親自出面營救了諸多可能遭捕殺的共產黨人和革命青年，如幫助被列入清黨黑名單的朱宜權等出走，保釋被捕入獄的進步青年史良、鄭觀鬆。
1928年1月，蔡元培曾親自致電武昌衛戍司令胡宗鐸，要求他釋放被捕的教育界人士。
言道：“聞漢口第二中學學生頗有附和共.產.黨者，因而連及徐校長昌期亦被監禁。但徐君實無共.黨嫌疑，如蒙早日開釋，無任感荷。”
現在，力主清黨的人卻一再爲被清的對象說情、提供保護、援助。
其實，蔡元培和中共的很多領袖之間不僅沒有絲毫恩怨，而且私交還不錯。陳獨秀、李大釗這兩位中國共產黨的創始人，正是他任北大校長期間親自聘請的優秀人才。
就在清黨開始之時，李大釗被奉系軍閥張作霖處死，蔡元培帶頭募捐，幫烈士的長子李葆華去日本留學。
他和陳獨秀的關係，更不用說了。兩人以前就在一起共謀反清、製造炸彈。陳獨秀後來兩次被捕，蔡元培都出手相救。
以至於當蔡元培去世以後，陳獨秀十分悲傷，在給友人的信中說：“弟前在金陵獄中，多承蔡先生照拂，公乃先我而死，弟之心情上無數傷痕中又增一傷痕矣!”
做爲學者和政客，蔡元培與蔣介石畢竟有着本質的不同。
蔡元培的訴求是民主和法治，而蔣介石的目標則是權力。蔡元培雖然堅定地力主清黨，但他主張用溫和、法治的手段完成這項使命，蔣介石等人則毫不心慈手軟，掀起了一場極爲殘酷的腥風血雨。
魯迅後來說，“其實像蔡先生，也還只是一般地贊成進步，並不反對共產黨而已。到底共產黨革命是怎麼一回事，他就不甚瞭然。他甚至於悲嘆地說，國民黨爲了想消滅政治上的敵對者，連民族的存亡都可以不顧，這是他所始料不及的。可知他同情革命者，也不過爲了民族而已”。