手各握一块石头，在大街上一边赤足狂奔，一边沿街高声叫喊：“岳钟琪要率川陕兵丁造反了！”官府迅速抓捕了那男子，经审讯原来是个疯子。
但是不能因为是疯子的话，岳钟琪作为地方大员就可以坐视不管。
他急忙写好奏疏，希望澄清视听，洗刷冤曲。
这封奏疏被天正帝的朱批写得密密麻麻。言下之意不外乎是不相信谣言，并说了许多安抚的话。
那疯子也被朝廷以“造谣惑众，诬陷大臣罪”斩首示众。岳钟琪心里的一块石头才算落了地。
而真正让岳钟琪彻底失去信任的一件事，发生在天正六年。
天正六年，靖州秀才曾静，派门人张熙致信岳钟琪，曾静的书信中对天正帝极尽责骂之词；又以岳飞抗金的事迹激励为作为岳飞后裔的岳钟琪，劝他掉转枪头指向金人的后裔满洲人，为宋、明二朝复仇。
岳钟琪假装同意，骗出口供，反过来抓捕二人，引发出了吕留良案。事后天正帝褒奖岳钟琪忠心，并由于军事需要，仍旧对他委以重任，加封宁远大将军，少保，但是，此举在岳钟琪的仕途中已经埋下了祸根……
雍正十年（1732年）十月，噶尔丹策零七千人马偷袭哈密。岳钟琪遣总兵曹让等将士在二堡击敌，又派副将军石云倬等将官赶赴南山口、梯子泉一带设伏，断敌退路。准噶尔部七千人马攻打哈密时专事焚烧粮草，抢夺驼马辎重，虽被曹让部击退，但也造成重大损失。派往断敌退路的石云倬竟迟一日发兵，当该部到达指定位置时，准噶尔军已离开设伏地点，准噶尔军休息时的点火灰烬还有余热。但石云倬没有挥师追击，致使叛军劫持大量物资安然撤退。雍正帝降旨，治石云倬、曹让斩首示军。严责岳钟琪“攻敌不速，用人不当”。
岳钟琪接连受雍正帝的严责，显然已经失宠。军机大臣、内阁大学士鄂尔泰乘机奏本，极力弹劾岳钟琪。雍正批准了鄂尔泰的弹劾，下谕“交部议决”。结果削去了岳钟琪三等公爵和太子太保封衔，降为三等侯，仍护大将军印。时隔不久，雍正帝又下旨诏岳钟琪离疆返京“商办军务”，由副将军张广泗护宁远大将军印。十月，岳钟琪怀着忐忑不安的心情，一路风尘赶到京城，张广泗弹劾他的奏折也随之到了雍正帝的龙案。在张广泗和鄂尔泰合力弹劾下，当月雍正就下诏将岳钟琪“交兵部拘禁候议”。岳钟琪被捕入狱以后，在等候兵部的判决，一直等了整整两年，雍正十二年（1734年）十月兵部的判决才下来，判决居然是“斩决”。雍正帝接到兵部议奏折子，左右权衡，最后，念及