黎培裡指使前天津教區主教文貴賓(Jean De Vienne)，起草一個“天主教中國全體主教的聲明”，經他批准後散發各地主教。在這個文檔中，企圖借其宗教地位，脅迫各地主教簽名，以達到破壞教徒愛國運動的目的。
50年至51年間，黎培裡曾兩次簽發關於教徒攻擊有神權者的處罰命令，這個命令的目的，即是企圖以“摘神權”和“開除教籍”的手段威脅愛國的主教、神甫和教徒，不許他們有支持人民**的表示。
又於51年1月29日黎培裡給蘭州天主教德籍主教濮登博(Theodore OrckBuddenb)的指示說:“在一切表面的事情上，可讓中國神甫以你的名義運行去，但實際上一切權力仍歸於你。”從這裡看出黎培裡企圖利用中國主教神甫作傀儡，而將實權緊抓在帝國主義分子手裡絕不放鬆。
3月31日，黎培裡致信各地“聖母軍”頭目、天主教主教、反對教友對共產黨組織、地方**合作，反對天主教教會開展三自（自治、自養、自傳）愛國活動，並譴責南京宗座代牧李維光簽名的《反帝愛國宣言》。
4月，他再次發出密信，以更強的語氣告誡下屬：以直接或間接的方式推翻他們的權威，不聽命令者將會受到嚴懲。
“聖母軍”還印製了攻擊、醜化共產黨和新中國的宣傳讀物《恐怖的共產主義》、《現代問題解答》20餘萬冊，陸續派人到各地煽動地下組織成員抵制、破壞土地改革、抗美援朝、天主教教徒的愛國三自運動，甚至計劃實施暴力恐怖活動，謀害地方黨政軍負責人。“聖母軍”地下組織的陰謀活動，對新中國的穩定與安全構成了威脅。
《人民日報》發表了短評《保護正當的信仰自由，取締反革命的“聖母軍”》，正式在全國吹響了打擊“聖母軍”的號角。天津是“聖母軍”地下組織活動猖獗的地區，摧毀“聖母軍”的戰鬥首先在這裡打響。
天津市軍事管制委員會主任黃敬簽署併發布了第21號佈告，宣佈對“聖母軍”予以取締，天津市公安局依法逮捕了法籍“聖母軍”頭目文貴賓及的“聖母軍”華北分會會長鄧華光等人。
得知天津“聖母軍”遭取締，在上海總部的莫克勤惶恐不安，他與沈士賢連續在其總部召開秘密會議，研究對抗的辦法和措施。
“聖母軍”頭目們的搗亂與垂死掙扎，激起了廣大民衆的極大憤慨，他們通過各種途徑向黨和**舉報“聖母軍”總部的違法行爲，並強烈要求摧毀“聖母軍”在上海岳陽路的總部。
1951年9月，上海公安機關先後將沈士賢、陳哲敏、莫克勤等意大利籍破壞分子蘇冠明等人抓捕，並繳獲一批武器和特工器材。山東、浙江、湖北、廣東等地也雷厲風行地展開了搗毀“聖母軍”的鬥爭。連黎培里居留的南京市天主教徒也組織起來，發表了愛國的宣言。
被此事激怒的黎培裡，向全國各區主教發出一個通知，公然指中國愛國人民爲“敵人”，企圖煽動全體教徒和神職班對抗愛國教徒們的愛國運動，這個通知的內容如下:“今天，三月三十一日，南京報紙登載了一篇宣言，據說是由本大主教區的神長和教徒們簽署的我深爲悲痛，並急速通知你，宣言制訂時我未曾知悉，我也不能贊同此宣言。我竭力祈求聖神，給一切教友們，尤其給全體神職班，恩賜必要的明悟與勇氣，去明白地洞悉和勇敢地戰勝敵人的詭計，爲了慈母聖教會和教宗的尊榮。”
黎培裡事後曾經解釋他的這個通知說:“我特別不贊成的地方就是因爲字句上包含着教宗干涉國家的內政和教徒反對本地教會的長上--于斌總主教。”
上列這些具體事實，已無可辯駁地證明了黎培裡徹頭徹尾是一個披着宗教外衣的、對我新中國進行破壞活動的帝國主義分子，他的使命就是在中國組織間諜活動，並且脅迫中國天主教徒擁護美帝國主義和蔣介石而仇視人民**，從而在實際上破壞中國人民**。莫克勤被逮捕後，對自己所犯罪行供認不諱。
1954年5月1日，被關押了兩年多的莫克勤被中國**驅逐出境。至於披着“教廷駐華公使”外衣的黎培裡，則於51年9月4日，被南京市軍管會永遠驅逐出境。
南京市公安局運行軍管會驅逐黎培裡命令時，南京市愛國天主教徒正開會組織天主教三自革新運動***籌備委員會。當他們聽到這一消息後，大家都欣喜若狂，一致歡呼**替他們搬掉了壓在頭上的大石頭，爲今後三自革新運動掃除了一個大障礙。
天主教南京區代理主教李維光對記者說:“**替我們把這塊大石頭搬掉了，就爲我們三自革新運動清除了一個絆腳石，我們真是萬分高興。”
他指出:“各教區的天主教革新運動之所以不能迅速開展，主要是黎培裡這塊石頭壓在教徒頭上不能翻身。”
他認爲:“黎培裡掩護間諜分子，進行間諜活動的罪惡，是帝國主義分子，根本不是天主教的‘神長’。”
5日下午，愛國天主教徒舉行了座談會，大家都認爲這是天主教徒反帝鬥爭的偉大勝利。天主教***籌備委員會孫持芳、汪皓等都說:黎培裡是帝國主義的間諜，是天主教內的惡霸，**驅逐了黎培裡，就是爲我們除了一個大害，而對於帝國主義卻是一個沉重的打擊。
大家都從這件事情中，深深體會到祖國的偉大可愛，教徒李汝霖指出:這是近百年來天主教徒的一次大翻身。
過去我們見到外國人總是叩頭，現在卻把這樣的頭號帝國主義分子趕出去了，這就說明我們中國人民真正翻身了。
曾經被黎培裡指使其走狗唐惠民剝奪宗教活動權利的教徒李若瑟更加興奮，他說:只有把帝國主義分子趕走以後，教徒纔有真正的信仰自由。他並揭露了黎培裡指使前“慈愛育嬰院”帝國主義分子出賣中國兒童的罪惡。
此外，大家並指出:黎培裡雖然被趕走了，但還要警惕隱藏在教會內部的帝國主義分子，堅決搞好三自革新運動。會上並決議上書毛主席致敬。爲了慶祝這一偉大勝利，天主教徒們正積極準備六日召開慶祝遊行大會。
遠在北京的趙繼統和他的兩個小組又一次齊聚在一起喝酒言歡，直到劉萍看見李漱玉和趙繼統心有靈犀的碰了一下各自手中的杯子，恍然大悟的說道：“我說這段你們倆神神秘秘，原來是在辦這個案子啊！恭喜你們爲新中國拔去一顆毒瘤！”