第一次废太子时，胤礽被交由大阿哥胤禔和胤禛等人看管，当胤礽要求胤禔代奏自己“绝无弑逆之心”时，胤禛的表现还算公正。他不顾胤禔的反对，毅然决定给胤礽上奏此事。也许，胤禛认为打击太子对他没有什么好处，因为即使胤礽被打垮，储位也轮不到自己，前面至少还有胤禔和胤禩几个人，因此，他也没有必要去落井下石。当然，胤禛当时也许是真的出于善良、公正和兄弟之情，看不惯大阿哥胤禔欲置胤礽于死地的凶恶做法。
由于暂时夺取储位无望，胤禛便在这类政治斗争中保持不偏不倚的态度，或者根本就不参与。为表明自己的态度，胤禛在这期间经常和僧人来往，他当时住的雍王府邻近柏林寺，他还经常跑到寺庙里去和那些和尚们参禅论道，谈论佛法，一幅与世无争的样子。
不仅如此，胤禛还出资建造大觉寺，并自号圆明居士（居士即指在家修行的俗家弟子）。据他本人的说法，自己钻研佛学，在机锋对答之中，已有颇深的造诣，还曾经参与过佛门的争论，不过，后来做上皇帝了。胤禛即位后的十年之内，未曾谈论佛事——雍正十一年时，雍正曾说：“朕即位后十年来，办理政事，于释典一函一轴实未曾批阅。”也不知道是他已经修成了“正果”呢，还是他太实用主义了？
“山翁避暑在山中，竹簌松涛面面风。三乐启期何所事，朝阳睡到夕阳红。”既然不想太早的卷入是非当中，又需要找点事情做，胤禛的选择是先做个“富贵闲人”，乐得逍遥。他曾经写过这样的诗：
道许山僧访，暮将野叟招；
漆园非所慕，适志即逍遥。
山居且喜远纷华，俯仰乾坤野兴赊；
千载勋名身外影，百岁荣辱镜中花。
从胤禛早期的诗歌里面，似乎他当时最爱的生活是“访山僧，招野叟”。功名利禄对他来说，不过是“身外影，镜中花”，与自己毫无关系。当时的胤禛，似乎有意要把自己描绘成“天下第一闲人”，他以王爷的尊贵之身，屈尊纡贵地跑去和山僧野叟闲谈，和三教九流打交道，怪不得野史里把他说成一个会武术的奇人异士。
太子二度废立期间，争夺储位的斗争已经是紧锣密鼓、明枪暗箭，各皇子各显神通、结党谋位，几乎无法控制。当时的胤禛，想必也感到焦躁和不安，但他最后却做出一个令人意外的决定，那就是暂时抛开一切，礼佛参禅，避开那些日益紧张的储位斗争，免得惹祸上身。
有人会认为，当时的胤禛已经开始暴露他为人的两面性。他也许是厌倦那种你争我夺、兄弟倾轧的宫廷政治，而想寻觅一种与世无争、清心寡欲的淡泊生活，但从他后面的表现来看，胤禛只是为了隐藏自己，免得过早地暴露自己。更大的可能是，胤禛从大阿哥胤禔的悲剧中清醒地意识到，现在还远不是出手的好时机，何况，怎么说也没有轮到自己！与其过早的出场被杀，倒不如暂时隐忍不发。
空闲之余，胤禛还自己编辑了一本集子叫《悦心集》，把他所欣赏的一些诗赋文章收录其中，以表示他的志趣和心情。其中有两篇诗文颇有意思，一篇是明代才子唐伯虎的《一世歌》：
人生七十古来稀，前除幼年后除老。
中间光景不多时，又有炎霜和烦恼。
过了中秋月不明，过了清明花不好。
花前月下且高歌，急须满把金樽倒。
世人钱多赚不尽，朝里官多做不了。
官大钱多心转忧，落得自家头白早。
春夏秋冬弹指间，钟送黄昏鸡报晓。
请君细点眼前人，一年一度埋荒草。
草里高低多少坟，一年一半无人扫。
这首《一世歌》，和《红楼梦》中的《好了歌》在意趣上倒是有几分相似之处：