赵鼎记云：

先生顷在京时，虽宰执亲王不与交谈，亦不接见宾客，惟虚静天师至，即开门对话终日终宵。此外则东西皇城使张如晦者，旧在通真宫，出则同行，坐则同席。宗师法教，独张一人得其妙也。既还乡，则同居永嘉。”

方志中对林灵素死亡记载得很有意思：1119年的中秋这天，（林灵素）对如晦说：“可於扈屿灵官山劚地五尺，见石龟蛇则葬我，葬毕宜遂去。”这夜三更时分，援笔题曰：“四十五年务生，浮名薄利峥嵘。要说神仙的路，中秋月下三更。”这时风清月白，忽闻打雷声，稽首而化。徽宗皇帝见遗表，诏守臣治葬。挖地五尺时，果真有石龟蛇出现。棺木一下塞穴中，就“雷电大作，云雾晦总，失其所在。”随葬的有徽宗皇帝御赐的七宝数珠，雷霆八角印及冠剑。靖康元年钦宗皇帝派使者来取随葬了的数珠，将要挖开坟，这时“天昏地暗，百怪杂出。使者惊慌失措，跪地叩谢，天才放亮，只见所要的宝珠明当当地已挂在上。

关于林灵素回乡，也有不同的版本，在这里，择一家之言，以飧读者：

（1119年夏）林灵素遂后上表乞请退职还乡，宋徽宗不允。

秋九月，全台向徽宗进言林灵素妄改迁都，妖惑圣聪，改除释教，毁谤大臣。

林灵素听后大笑，知道又是蔡京等奸臣在作祟，于是招来诸弟子和监宫官吏说：“皇帝前后宣赐给我的物品大约值三百担，自去年用千字文字号封销，记录分明，丝毫未用，可以交回宫中。”

林灵素入朝一场，期间堪称缔造了旷世的辉煌，临离开时，没有带走皇帝赏赐给他的一草一木，一线一纱，也算得上是两袖清风了。

这样看，林灵素并不是一个贪官。

然后，林灵素走出通真宫，离开京城，只带了些衣被，皇帝宣唤挽留他也不回，宋徽宗只好赐他居温州道观。

他的弟子张如晦也辞官随他而来。十一月，林灵素到达温州。这个张如晦，就是前文所说的童子。

宣和二年八月的一天，林灵素突然携带上表拜见太守，乞求他上交给皇帝。然后和州官、亲族、邻里诀别：“尘世不可久恋，况且大祸将至，我当尽快辞世。”