王牧之的父亲王胡之和王羲之是从兄弟的关系，血缘关系甚至只隔了两代而已。但是王胡之在琅琊王氏之中并无太高建树。和从兄王羲之相比，王胡之除了酒量比他强之外，可谓一无是处。
王胡之有疾，生活作风很不严谨。酒醉之后喜欢胡搞女人，而王牧之便是他胡搞之后的产物。他干起这些事来一点也不忌口，老嫩美丑都不在乎。某日王胡之酒醉之后，去厨下找水喝，恰好看到一个厨下烧火的丫鬟。王胡之兴之所至，便在厨下柴禾堆里将这烧火丫头给办了。结果没想到的是，这烧火丫头居然怀孕了，十月怀胎后生下了王牧之。
所以，就王牧之的个人而言，这显然是困扰他的一个人生的污点。大晋朝对于出身是很敏感的，这一点毋庸置疑。王牧之起初并不被承认身份，五岁以前都跟着母亲在厨下养着，被当成奴仆一般。
好在五岁之后，王胡之良心发现，承认了王牧之私生子的身份，过继给了一名妾室收养。而且琅琊王氏家族内部为了延续家族的强盛，自有一套规矩。对于家族内部子弟并不太计较出身。得益于家族内部的开明，即便是烧火丫头的儿子这件事，也没有让王牧之的前途受到太大的影响。
王牧之入家塾之后，表现优异，甚至得到了当年尚未去世的王导的赞许。
琅琊王氏子弟成人之后，都会陆续中正入仕，王牧之也在十多年前便入仕为官。对琅琊王氏而言，中正入仕不是什么难事，只不过，琅琊王氏如今确实已经不如以前那般鼎盛，在官职上也不能挑挑拣拣了。
王牧之兜兜转转，做了一圈县令郡丞之类的官职，但一直没有更好的机会。