墨兒人緣極好，因此黃飛在黃少成面前說自己的壞話的事情，很快就傳到了墨兒的耳朵裡。墨兒還好，小桃卻氣不打一處來：“咱們也沒招惹他姓黃的，何必跟我們過不去？他的事情我還沒跟黃老爺說呢！”於是墨兒問小桃知道黃飛什麼事情，小桃左右看看見四下無人，便悄悄地對墨兒說“黃飛與三姨太有染！”墨兒說，這種事情不可胡說，小桃則說這是她親眼所見的。
原來有一天晚上，小桃睡不着便獨自在後花園的假山後面乘涼，正好遇到黃飛與三姨太在假山另一面摟摟抱抱。。小桃嘴特別嚴，她沒有和任何人提起此事，今天是第一次將這事情說出去。墨兒聽了心中有了盤算，不過她還是提醒小桃，切不可將這事情說出去。
晚上黃少成宿在墨兒房裡，墨兒故意擺出一副很愁苦的樣子，黃少成便墨兒怎麼了。起初墨兒怎麼也不肯說，後來架不住黃少成的再三追問才說:”按理說黃飛是您的乾兒子，我也是他長輩，不應該說什麼的，可是黃飛平日裡對我多有無禮，根本不把我這個小娘放在眼裡。還有呀，他跟着老爺做事，老爺對他那麼好，他卻背地裡不知道黑了老爺多少銀子。”其實黃少成對於黃飛暗地裡貪沒他銀子的事情也是知道的，平日裡黃少成覺得黃飛還是忠的，拿些銀子他也不會太計較，但如今黃少成聽說他居然對自己的寵妾這樣無禮，心裡就開始厭惡黃飛。眼下黃老爺還用得上他，因此並不打算把他怎麼樣，不過讓黃飛收斂一點還是很有必要的。
第二天，黃少成便將很多事情交給王知心去辦，故意將黃飛晾在一邊，而一向與黃飛不和的王知心也開始秘密調查黃飛。王知心雖然正直但他也是有野心的，他一直想將黃飛除掉，自己做大管家。
之前府裡的賬目都是黃飛來管，畢竟他們父子都是靠算賬這個技能起家的，但最近黃老爺將一部分賬目交給了王知心，讓他看看這些賬目是否有出入。王知心一開始也沒看出什麼端倪，他拿到的都是日常米麪薪碳採買的賬目，表面上看着都很正常。但仔細一看就發現了很多問題。首先府里根本用不上那麼的米麪，如果按照賬目上記載每月採買的米麪，足夠府里人吃上一年，但實際上府裡每月都會採買這同等數量的米麪。王知心實地去看了，每月採買的米麪也就是賬目上的十分之一而已。其次是府裡下人的例錢，作爲黃府二管家，他知道很多下人每月只能拿到三成，但賬目上顯示每個下人都是拿全額的例錢。王知心當然也知道，這筆錢肯定是讓黃飛貪沒了。最後王知心發現，黃飛很多對外的採買都去找了三姨太的孃家人，這就讓王知心心中有了黃飛與三姨太關係特別的想法。正當王知心調查黃飛之時，他忽然接到了一封匿名信。