一九四六年五月三十日，國防最高委員會作出決議：裁撤軍事委員會及一切軍事機構，在行政院下設立國防部，掌管軍政軍令等事務。六月一日，國防部正式成立，白崇禧任國防部長，陳誠任參謀總長。他們至七月一日始宣誓就職。
回顧一九三七年八月上旬，白崇禧由廣西去南京就副總參謀長職時，蔣介石曾於陵園官邸對在南京的黃埔學生明確地宣示：抗戰期間，最高統帥如有三長兩短，應由白崇禧做接棒人。信任之專，情見乎詞。現在蔣介石似乎實踐他的諾言了，白崇禧當了軍事委員會結束後首任國防部長。揆之實際，並非如此。
白崇禧原來反對改組軍事機構，他以爲那時國共戰爭正在進行，和平並未實現。統帥部如要改組，費時失事，不能適應戰機的緊迫需要。白崇禧建議由何應欽的中國陸軍總司令部去指揮軍事，以收駕輕就熟之效。但蔣介石不予採納，且派何應欽去聯合國當軍事代表，實際上等於流放。所以如此，是讓陳誠順利接收軍權。
國防部的設置，依照權能分開的原則，劃分國防部長和參謀總長的權力。意指國防部長有“權”，而參謀總長則有“能”。實際上並非如此。《國防部組織綱要》第五條規定：“國防部置部長一人，特任，其職掌如左：一、審定參謀總長所提關於國防需要之軍事預算及人員物資之計劃，提請行政院決定，並監督其執行。二、審議總動員有關事項。”又第七條規定：“國防部置參謀總長一人，特任，掌理軍事之一切計劃準備及監督實施，並有關國防之各種建議。但關於軍令事宜，秉承國民政府主席之命令；關於軍政事宜經國防部長提請行政院審定之。”依此規定參謀總長可以避過國防部長，直接受命於國府主席，統率陸海空軍。當然，陳誠也沒有這個權力。長期以來，蔣介石把軍隊緊緊抓在自己手中，絕不假手於人。蔣介石更建立一套“官邸作戰會報”制度，自己親自指揮作戰，這就是國民黨軍被迅速打敗的一個主要因素。