当吕芳想起这位越来越难伺候的主子嘉靖皇帝朱厚熜的时候，不由得又想起了一个人，他就是原锦衣卫指挥使陆炳。关于吕芳和陆炳之间的恩恩怨怨，真的就连嘉靖皇帝朱厚熜也知道的并不全面。但是只有吕芳和已经死了的陆炳他们两个人他们自己才知道，两个人有太多的秘密需要他们以性命来保守。

说起吕芳和陆炳的第一次正面碰撞，应该说是因为一块糕点引起的。当时吕芳七岁多，陆炳刚过八岁生日。事后吕芳不止一次在私下这么评价过陆炳，他说陆炳是一个不要脸的无赖兼要钱不要命的主。其实当陆家背弃锦衣卫，成为兴王家奴的时候起，他们的命运已经和兴王一家联系在了一起。陆家之所以会为了兴王而背弃锦衣卫，主要就是为了一肚子的怨恨和无奈。陆家也算是锦衣卫的老人了，好几代在锦衣卫兢兢业业，却换来了这么一个结果。孝宗皇帝朱佑樘什么都好，就是担心自己家的亲戚们不安份，所以秘密派出锦衣卫去监视各地的藩王。其实用化装成一般侍卫的锦衣卫监视藩王，这个规矩早就有了。这些军官名义上是保护藩王，其实是监视和控制藩王们的行为举止。必要的时候，他们会拿出皇帝的密令，直接处置蠢蠢欲动的藩王。但是孝宗皇帝朱佑樘是出了名的仁孝，只要藩王们没有实质性的举动，暗中监视的锦衣卫几乎没有什么实权。也就是说和兴王一起来就藩的陆家，等于在在兴王家附近常驻下来，没有皇帝新的指令，或者说兴王出事的话，陆家等于要在这里落户生根了。外人不知道，陆家的人还有兴王知道，陆家等于是被锦衣卫抛弃了。这样下去陆家不是从此尴尬的活下去，就是等着十几二十年后被锦衣卫开除出锦衣卫的队伍。与其被锦衣卫开除，还不如名义上拿锦衣卫的工资，实际早一步投靠新主子好。为此陆炳的父亲在兴王的一次暗示下，马上心领神会地和兴王走到了一起。就这样本来是来监视兴王一举一动的陆家，成为了帮兴王说话的“自己人”，还利用自己的特殊关系，打听一些机密情报。还好兴王的野心不大，不然的话陆家成为了导致天下大乱的帮凶了。

陆炳的父亲为了表示忠心，找了一个理由把自己的家人也接到了兴王这边。锦衣卫那里很好解释，就说为了让兴王相信他们，所以要把家眷接过去。反正锦衣卫早就打算抛弃陆家，所以马上就把陆家的家人送来了。就这样陆家从此完全依附在兴王身边，甚至于让陆炳的母亲当上了兴王世子的奶妈。不但陆家夫人成为了兴王世子的奶妈，而且陆家把陆炳安排在兴王世子身边同吃同睡。陆炳渐渐长大了，他就自然而然的懂了一件事情，他将来要像自己父亲贴身保护兴王一样，贴身保护好世子。当世子身边多了一个小太监的时候，以世子身边第一跟班自居的陆炳当然不高兴了。

起因是兴王抽查世子的功课，发现世子这些天用功了不少。王爷知道自己的孩子的性格，一定是身边人起了一定的作用，所以他下令赏一些糕点给世子身边的人。当年长的太监和宫女拿走自己那份糕点之后，吕芳终于第一次得到了属于自己的糕点，不用再暗自咽口水了。没想到这时候陆炳出现了，他依仗着自己会点功夫，又比吕芳长得结实，硬是把吕芳分到的那块糕点给抢过来吃了。吕芳第一次生气了，他冲上去和陆炳拼命，两个人几乎是两败俱伤。

要不是世子出面，制止了两个人下一步的行为的话，估计两个人都不会好过。事后吕芳和陆炳都一直后怕，要是真的打下去的话，势弱的吕芳可能会被陆炳当场打死，但是陆炳也不会好过，因为吕芳会在临死前给陆炳最后一击，这一下就算不导致陆炳终生残疾，也会留下永远的伤痕。再说了陆炳因为一块糕点，打死世子身边的贴身小太监的话，就算兴王不下令处置，陆家也会打死这个孩子向兴王表示忠诚。这件事情在后来多次被吕芳或者陆炳说起，主要的目的就是呀大家尽量控制内斗，不要因为内部的一些小意见，影响大局的发展。