澄衷學堂一年半的求學生活，給了胡適如此豐厚的人生獎賞，讓胡適縈念於心，不盡感激。成名之後，他曾兩次撰文，親切回顧在澄衷的學習生活，感恩之情，溢於言表。他還先後三次回母校視察、演講，其溫厚謙和的形象、睿智深邃的思想，深深烙印在澄衷師生的心中。
1936年4月，胡適在《敬賀母校卅五週年紀念》中感慨：“我離開澄衷整整30年了。但我現在回憶那一年半的光陰，我還覺得那是我幼年最得益的時期。”
但是，胡適在澄衷學堂同樣沒拿到畢業證書，因爲沒等到畢業，他便憤然離開了。
不是學得好好的嗎？怎麼回事？
所謂“成也蕭何，敗也蕭何”。胡適轉入澄衷學堂與白振民有關，離開澄衷學堂也與白振民有關。
白振民，名作霖，江蘇南通人，上海南洋公學首批師範生。先後在澄衷學堂任副教長、總教長、校長。前邊提到過，白振民與胡適的二哥胡紹之是同學，可以說胡適就因爲這一層關係，才很容易就進入了澄衷學堂。
如前文所說，胡適熱衷於社團活動，喜歡學生活動。他在澄衷學堂發起組織或參與的學生自治團體有集益會、學藝會、理化研究會、算術研究會等近10個。當然，投入時間和精力較多的是閱書社、自治會等。作爲總教長或校長，白振民對社團活動、學生自治等，是相對認同和重視的。
“閱書社章成立後，已蒙白振民先生贊成，允以故算學三齋地假爲社所，並允以本校藏書相助。本社得此助力，大約不十日當可成立矣。”
“向白振民處取得江蘇學會簡章一紙，見其完備善美處，直非安徽學會會章所可比擬。”
“澄衷的好處在於管理的嚴肅，考試的認真。還有一樁好處，就是學校辦事人真能注意到每個學生的功課和品行。白振民先生自己雖不教書，卻認得個個學生，時時叫學生去問話。”
從胡適當時的日記和日後的回憶可知，胡適對白振民的印象大體是良好。而從胡適在學校的境況可知，白振民作爲學校的主要負責人，對胡適也是很看重，很支持的。
但是，白振民管理學生十分嚴格，也由此把自尊心調得極強，容不得學生有所過失，更不能容忍學生對他有所不敬，以至於時而將小問題演成大矛盾。而胡適呢，在“澄衷”的一年半期間，思想受到了當時社會思潮的強烈震與衝擊。在追隨新潮的波浪裡，胡適的獨立意識與人格尊嚴也得到了張揚。具體表現是，他當班長，堅持己見，行使獨立權利，時時要與校方衝突抗爭。
毫無疑問，這便爲二人的關係留下了隱患。
胡適離開澄衷學堂的“導.火.索”是“罷操風波”。關於“罷操風波”的前因後果，胡適的澄衷學堂日記有詳細記錄。
5月16日那天天氣很熱，學校的夏操服也未備好，同學們要求不做夏操，胡適便代大家向學監林仲希反映，林說可穿舊的夏操服。胡適去看，發現舊操服少十來件，認爲夏操做不起來了，就與同學到教室裡溫習功課。
忽然林仲希與白振民駕臨，詰責衆人不做操，胡適即以天熱爲由回答。不料白振民“怒甚”，說胡適是“集衆要挾”。當日東一齋也未出操，大概白振民認爲是受西一齋影響，胡適那時的學名叫胡洪騂，白振民因此道：“東一不操，西一擔其責；西一不操，胡洪騂擔其責。”說完就走了。
學生們見勢不妙，於是於下午補操。
白振民本欲重罰爲首的人，後被其他老師勸止，但他卻又掛出告示牌，上面寫着：兩齋不出操，事先不清示白振民先生，西一齋班長鬍洪騂與東一齋班長趙啓承“不勝班長之任，應即撤去”。
胡適自認不先請示是有過錯，但不領受其他“罪名”，當晚又聽一位叫餘成仁的同學說：“總教習說你強辯，說上午託言不能操，下午卻能補操，操後怎麼也不生病呢？”胡適聽了這話，自然也生氣，於是當即寫了一封信給白振民，陳述事情緣由，又引餘同學的話，加以辯白。
白振民讀了胡適的信更加生氣，認爲胡適竟引旁人的話來詰責，“氣焰甚盛”，次日對胡適道：“此語我未嘗說，你從何處得來？若是教習說的，我辭退教習；學生說的，我開除學生！”胡適便據實說是餘成仁說的。
白振民道：“我不曾對餘成仁說胡洪騂一個字，可證也。”
胡適又去詢問餘成仁，餘成仁道：“這是我解釋白總教之意之語，他說不曾對我說你一個字，此則大謬，他確實說過你找藉口的話。”
於是餘成仁與白振民對質，白振民不再堅持他未曾提胡洪騂一個字了，而改口爲“我實說你但無病不病之語耳”。胡適天真地以爲事實既已清楚，事情可以就此了結了。他不知這一回合以他小勝，白總教怎能嚥下這口氣！
次日，告示牌又掛出來了，其中有“播弄是非，誣衊師長之咎，應由胡生一人任之”之語。胡適在日記裡將白總教的言行說爲“無理取鬧”，又寫道，假使我真想播弄誣衊，就不會耗費筆墨來辯解，而會當衆陳述事實使他難堪。
大概胡適將這意思又寫信給白振民，而下午白振民又掛出告示牌，中有“胡生能保他日無此等無秩序之事否？若有之，應由何人擔其責任？”
胡適見了，在日記裡將此斥爲“尤爲無理”，並以“事之有無，當視學生之程度若何及管理法若何而後可定。若何人擔其責任，則當視此事之性質如何而後定”回敬白振民。
下午，胡適收到二哥的來信。原來，前一天白振民與胡適不約而同地就此給嗣秬寫信，白振民狠狠地告了胡適一狀，信中有“將此不悛，將不能顧私情而妨公益”等語，總之嗣秬即使沒將白振民的信轉寄胡適，至少引了些白信中的話，被胡適視爲白振民“痛詆吾”。
嗣秬在信中未仔細分析誰是誰非，對弟弟也未深責，而只“深戒”道：“弟所以致此者，皆好名之心爲之。天下事，實至名歸，無待於求。名之一字，本以勵庸人。弟當以聖賢自期，勿自域於庸人也。”
這樣一說，頓時使胡適站高一線，心胸開闊，也就願意聽從二哥的話，委屈自己，寫信向白振民“略陳悔意”。
次日白振民又懸出告示牌，略謂“胡洪騂自陳悔改，姑許其自新，前情姑不追究”云云，此波瀾也就歸於平息。可是胡適既非真的“悔過”，他在日記中寫道：“1906年5月19日，嗚呼，幾許筆墨，幾許口舌，直爲爭一副光耀之面具之價值耳！”
白振民爭到了面子，胡適自然也就失了些面子，剛好嗣秬又有信來，“諄諄以輕妄相戒”，胡適即把信拿給同學們傳閱，實際上帶有告訴大家他妥協的真正原因的意思，也是爲了挽回一點面子。
但經此一事，胡適在二哥的一再教導下，對自己也進行了一番反省，他在5月22日的日記中，痛斥自己一生有好名、鹵莽、責人厚三大病根而欲痛改。
事過兩月後，那位餘成仁同學又有事得罪白振民，胡適在日記裡寫道：“ 1906年7月16日， 今日暑假謁聖後，學生皆出校矣，忽見一牌示謂‘餘成仁既自命太高，應聽其別擇相當者入之，下學期毋庸來校’ 云云。蓋昨日事之結果也。成仁往詢其‘自命太高’之語何所見而云然？白振民曰‘即使汝不如此，則作爲我恭維汝之語可也’云云。”
胡適日記對這件事語焉不詳，十來天后，他的一部“澄衷日記”也結束了。25年後，胡適作自傳《四十自述》，中間有段寫道：“我在西一齋做了班長，不免有時和學校辦事人衝突。有一次，爲了班上一位同學被開除的事，我向白先生抗議無效，又寫了一封長信去抗議。白先生是懸牌責備我，記我大過一次。”
那個被開除的餘成仁，是胡適當時“最相契”的六位同學之一。胡適在《四十自述》寫到白振民，並無指責之言，倒不乏讚揚之語，比如他寫道：“澄衷……還有一樁好處，就是學校辦事人真能注意到每個學生的功課和品行。白振民先生自己雖不教書，卻認得個個學生，時時叫學生去問話。”對於白振民記他大過，他也不說公與不公，而這樣寫：“我……知道白先生很愛護我”，只是“我當時心裡頗感覺不平”。胡適筆下這樣寬容，固然可以理解爲事過境遷、心平氣和了。
但當時“我當時心裡頗感覺不平”的結果是，胡適一怒離開了澄衷學堂。