据《世说新语·仇隙》记载，王述就任今后，密令部下找出会稽郡各种所谓“不法”的作业，说王羲之“先有隙令，自为其宜”，也就是指控他先公布有隙可乘的规则，再自行其是肆无忌惮。《晋书·王羲之传》则说，王述查看会稽郡的作业，“辨其刑政”，使逸少“疲于简对”，大约是以疲惫战术忙得他连写作业汇报都来不及。不管何说为是，王述好像也有点公报私怨之嫌。王羲之真实咽不下这口恶气，便托病辞去职务。但王氏是名门，自己又是名士，尽管辞去职务，朝廷还会来请他出山的。那时，假使他再出仕，势必会贻笑士林;假使再以健康原因回绝，也会被人说成是矫情。思来想去，宦海风涛已与自己无缘。永和十一年(355年)三月初九日那天，他一个人跑到爸爸妈妈墓前，摆好了供品，磕好了响头，发下了不再苟进的誓词。这篇百来字的《誓墓文》收在《晋书·王羲之传》里，文章并不赖，简练明快，爱情激越，令人千载之下也能想见其誓墓时的气愤和决绝。辞官的理由也是官样文章的，“进无忠孝之节，退违推贤之义”，担心“死亡无日，忧及宗祀”，因而“寤寐永叹，若坠深谷，止足之分，定之於今”。好像仅仅事必躬亲老子所说“知止不辱，知足不殆”的古训，而彻底无关乎其他。誓发得适当重，也确是指日为誓，信誓旦旦：

　　自今之后，敢渝此心， 贪冒苟进，是有无尊之心而不子也。子而不子，六合所不覆载。名教所不得容。信誓之诚，有如皦日!

　　已然发了重誓，朝廷也不方便相强。王羲之辞去职务今后，再也未入官场，忠诚履行了《誓墓文》里的信誓。他对自己辞官遁世的挑选好像很幸亏，与友人再三谈起。他给谢万的信里说：“古之谢世者，或被发阳狂，或污身秽迹，可谓艰矣。今仆坐而获逸，遂其宿心，其为幸亏，岂非天赐!违天不祥!”他还劝一位朋友：“吾为逸民之怀久矣。足下何故方复及此?”王羲之有六个儿子一个女儿，内外孙有十六人。在家，他植桑栽果，率诸子，抱稚孙，游憩其间，有好吃的果子，摘下来与后代分食，有滋有味地品味着天伦之乐。他寄情于山水之间，也热衷于药石之道，为了这两大喜好，他遍历东南诸郡，往往不远千里，穷名山，泛沧海，感叹道：“我终将高兴而死!”