庾希当即下令，将葛元逐出三清观。其他方士联合京城其余道士一起下达了逐出天师教的联合声明，不仅集体排挤葛元，而且互相串联告知天下道观，不得收留葛元。称他为道门败类，百般诋毁。
不得已之下，葛元只能离开京城。但他生性倔强，偏偏不肯离开，就在覆舟山山谷里找了一处山坳居住下来，这一住便是十多年。独自修道练物，过着与世无争的生活。
京城道士们也知道他住在这里，只称呼他为野道士，其实便是贬低之意。那日归元观的那名道士其实并非指点李徽，而是调侃之意。他们知道葛元在覆舟山里已经成了残废，所以故意那么一说而已。没想到李徽却还是找来了。
听了葛元这番话，李徽恍然大悟。
“原来如此，仙长，你这是挡了人的路啊，那自然会被他们排挤。你说了实话，那不是天下道士都没法以此获得钱财和好处了么？”李徽笑道。
葛元大声道：“难道我不该这么做？那帮人违背了天师教诲，玷污了道门，我身为天师门徒，难道不该揭穿他们。我道门自天师开山之日起，便驱魔除鬼，涤荡邪行，外修道行，内修道心。道门子弟，修悟自身，除魔降妖，穷究物理之奇，以求顿悟天道羽化飞天。一切道门弟子门徒，难道不应循着天师的足迹苦修，遵循道门之则而行事么？谁玷污了道门？难道是我？还是他们？”
李徽看着葛元激动的脸，心中忽然觉得这个道长虽然面貌丑陋恐怖，衣衫破烂污秽不堪，但此刻却比道貌岸然之辈不知好看了多少。此人有赤诚之心，在这样的时代里甚为难得。只可惜这种赤诚真挚的情形，在这世间却是不能存在的。所以会格格不入，会显得幼稚可笑。