然而归氏却狠不下这个心。
她当时还在月子里，一边为丈夫长子的惨死而伤心，一边又震惊于皇家对吴家的不公，心里又害怕，又茫然，不明白富贵风光的国丈家，怎么就能在一夕之间灰飞烟灭，就连皇后与嫡皇子都死得不明不白。她不甘心接受这个事实，还想要翻身，想让丈夫长子冤情得雪。她觉得公公有那么多门生故旧，早晚会有死后哀荣的一天。她若是把吴珂交了出去，岂不等于是背叛了夫家，绝了吴家的后？那就算她保住了自己与女儿的性命，外人也会认为她太过狠心无情，她的女儿有这么一个名声不好的母亲，一辈子都会抬不起头的！
归氏咬着牙，护住了吴珂，将他带在身边，与女儿一起照顾，无论谁来劝她，她都不肯把人交出去。
归家人十分无奈，又不能强来。他们家因为被孙家针对，当家人很快被降了职，不日便要离京到地方上赴任了。就算京中的宅子是自家产业，家里做官的顶梁柱都离开了，又有谁能护住家中的女眷呢？因此归家人打算合家赴任，只留一房家人看宅子。他们愿意带上还没出月子的归氏母女，却不想冒风险再带走吴珂。万一被孙家人知道，他们归家不仅仅收留了女儿和外孙女，还护着一个吴家子嗣，还不知道会面临什么样的攻击陷害呢！
这时候，周太后的使者找到了归家。
周太后与吴文安公的夫人吴周氏是嫡亲姐妹。后者是长姐，刚去世不久。她留下的一女三子，包括吴皇后在内，都是周太后的亲外甥。周太后得知归氏在娘家生女的消息后，一直惦记着，见归家被贬出京，便派人来接归氏母女入宫。孙家再嚣张，总不可能闯进慈宁宫杀人吧？
周太后派来的心腹宫人，是到了归家，才知道这里不仅仅有归氏母女，还有一个小吴珂的。
这宫人当机立断，把三人一并带进了宫，还将小吴珂打扮成了小丫环的模样，只当他是归氏母女的随从。周太后见到人十分惊喜，不但把人留在慈宁宫里安置下来，还立刻下令封宫，谢绝外客。
在表面上看，周太后是因为不满皇帝在吴皇后母子与吴家惨死上的冷漠态度，以及对孙贵妃的偏宠与包庇，才会自行封宫，拒见任何后宫妃嫔、宗室皇亲与外命妇的。
可实际上，周太后是为了不让外界知道，她在慈宁宫里养着吴家的两个遗孤，更不想让孙贵妃伤害到他们。
吴家的三名幸存者在慈宁宫一住就是几年。孙贵妃在后宫称霸，却完全不知道这件事。但后来六皇子忽然夭折，孙贵妃疑心儿子是被人所害，而且凶手来自慈宁宫，便带着宫中侍卫大吵大闹着要闯进慈宁宫搜查。
虽然事情后来被赶到的皇帝叫停，孙贵妃被安抚着离开了，可周太后还是觉得太危险。为了保住吴家三人，她让承恩侯夫人配合着把他们送出了皇宫，悄悄安置在承恩侯府中。
吴家三人在承恩侯府一住又是几年。可近来周太后感到身体不适，担心自己寿命不长，怕自己死后，承恩侯府失了庇护，连带吴家三人的安全也得不到保障，才决定把人送到长安。