林灵素的最终被贬，除了有他自身的原因以外，个人感觉主要还是他得罪了蔡京。据说假道士提诗这件事就是蔡京一手导演的，而回头来看看王仔昔道长，同样是得罪了太监冯浩而死的，所以世外高人在官场上是玩不过政治家的。
至于蔡京和林灵素之间的龃龉，并没有考证到可靠的原因，大胆推测主要原因有二，一是争宠，二是林灵素曾和徽宗说过苏轼也是天上的奎木狼下凡辅佐他的，而苏轼和蔡京又是老对头，因此蔡京看着林灵素当然就不顺眼了。实际上徽宗刚登基苏轼就过世了，林灵素如此捧苏轼的原因，据苏轼家隔壁大妈说，林灵素小时候曾当过苏轼的书童，他自己也想不到这样会得罪老权臣。
林灵素最终还是黯然离开了繁华的首都，徽宗却依旧还是那个徽宗，照样不务正业。没过两个月，徽宗又想起了林灵素在身边时的好处，很是思念他，于是“欲再召入”，可是传却来了林灵素的死讯，“帝闻之惊叹呜咽”，甚至赐了林灵素一个长达九十五字的尊号，也算空前绝后了。
林灵素生前就在城南山上给自己选好了风水吉穴，告诉弟子在那挖五丈深，看到龟蛇就行了。不过下葬那天弟子怎么也挖不到龟，蛇也没见一条，于是接着挖，反正不知道挖了多深，就是没见到龟蛇，只好放下棺材了事。据说到了靖康初年，皇帝曾派人去找林灵素的墓，打算扒开来看看，不过周边乱石纵横，就像诸葛亮当年摆下的八卦阵一样，强行闯进去十有八九就出不来了，慢慢地也就不了了之了。
林灵素临终前还留下一颂，道友们赏鉴一下：
四十五岁劳生，
浮名满世峥嵘。
只记神霄旧路，
中秋月上三更。
无论后世人对他如何评价，林灵素对道教发展做出的贡献是不可否认的，所以站在道教的立场上把他尊为一代宗师，列入神班也属正常，比如全真教就把他视为“法教”的先行者，也正是他的努力下，“法教方兴”。
下面再讲一讲和林灵素有着密切关系的神霄派。
神霄派的形成大体上可以确定是在北宋末年，该派尊神霄玉清真王和青华帝君为宗师，道法则包括雷法、符箓以及内修功法等，而公认的创派祖师则是比林灵素小十几岁的江西道士王文卿。
这个王文卿前面提到过，也是徽宗宠幸的道士之一，之所以学术界认为他是神霄派的创始人，主要原因是明代张宇初张天师在《教门十规》中是如此说的，当然很多文献中也基本上是这种说法。但是，通过上面的讲解，道友们应该了解到了，林灵素和神霄派关系非常紧密，似乎他才是创派之人吧，不急，且听我慢慢分析。
首先要明确谁才是最早提出并建立神霄理论或这个概念的，又是谁建立了一个教派的必要的教义、斋仪、经书等等的，通过上面的讲叙，这个人无疑是林灵素。
根据南宋史学家杨仲良的《长编记事本末》、赵与时的《宾退录》、洪迈的《夷坚志》以及一些其他的相关的文献，诸如《林灵素传》《九朝编年备要》《皇宋十朝纲要》《宋史全文》《两浙名贤录》等等吧，还有很多，大体上都可以得出一个事实，就是林灵素早在政和三年（1113年）以前就曾经在一个化名为张升的道士那里学到了“五雷法”，这个在前面刚提到过了。
在京城期间，林灵素也曾“传役使五雷之术”祈雨，这在《宾退录》中有记载。宣和元年（1119年），京城大旱，于是林大法师就布坛求雨，折腾了半天演砸了，太阳还是面带嘲讽地挂在那不动。于是，林灵素就派自己的劳斯莱斯去请王文卿来救场，说我虽然法力高深，不过现官不如现管，而下雨这事是归王文卿管的，让他来求雨才行。王文卿来了以后，一通法事做后，果然大雨连下了三天。
再从时间上看，神霄是林灵素得宠后，伙同徽宗、徐知常等人编造出来的，然后由专业人士林灵素进一步发挥完善而成的，这显然是王文卿被林灵素引荐来京之前的事情了。
当年，新旧两党斗争、阶级矛盾尖锐，完颜阿骨打正在努力灭辽建金，正在统一北方地图，内忧外患，徽宗也着急，于是林灵素把神权这个馅饼摆到徽宗面前，让他看到了用神权神化自己，有望解决自己“独思未有一压服群下者”的难题的希望。眼看着皇帝“独喜其事”，林灵素便借助皇权大力构建他的神霄国度，把徽宗放在青华帝君哥哥的位置上，而且是把整个中央权力机构全部神化，这样骗起百姓来威力更大，百官们也可以从中找到自己的位置，增加一点向心力，这样徽宗哪能不尽心尽力地推行神霄一派，所以徽宗全面支持“神霄说”，要达到“立乎万世上，统御神霄，监观万国，无疆之休”，这里面显然也是林灵素在努力，而没有王文卿的影子。
政和七年正月（1117年），林灵素操纵秘书省向徽宗报批，把天下道教划分五教，这里简单说一下这五教，这也算是神霄派的神仙体系构建的一部分。
天尊之教：教主是元始天尊，道德为宗；
真人之教：教主是太上玉晨天君，清静为宗；
神仙之教：教主是太上老君，变化为宗；
正一之教：教主是三天静应真君，诚感为宗；
道家之教：教主是南华真人，性命为宗。
那么徽宗呢，做了“上清通真达灵神化之教”的教主，以神霄大法师、都天教主的身份统领各教，地位显然是在其他五教之上，而借助国家最大的老大，林灵素抬高神霄派的目的也实现了。
在徽宗宣布成为三合一教主道君皇帝以后，林灵素又有目的开始了一系列行动：
1、把高官、太监们都拉进集团里面来。前面讲过，包括蔡京、蔡攸、郑居中、余深、童贯、邓洵、薛昂、白时中、王黼等等全都有职务，每一座宫观都安排一名官员，使神霄组织和国家政权高度交融。
2、重和元年（1118年）再把道士纳入政府体系之中，林灵素是通过设立道职、道阶的方式，参照文官体制建立起对应的道士的官职体系，进一步使道士成为官僚集团中的一员。
3、同年，又是在办学、道举方面，使学习道教成为官僚、道士们步入官场一条新出路。政和四年，道箓院创办了中国历史上第一所道教学院，完全是仿照当时的太学设置的。徽宗要求儒家学习道教典籍，接受道教思想，把道教典籍列入国子学必修等，并能过自己注解《道德经》等作表率，徽宗的政教合一的建设，同样大力推动着神霄一派的发展。至此，北宋的官、道紧密融合，有学者说，除了用政教合一来描述，应该没有更合适的词了，而这也是林灵素的功劳。
4、“帝惑于林灵素之言，遍建宫观于天下”，这是林灵素的另一项贡献，借助皇权大力发展神霄派的势力。政和六年二月，上清宝箓宫落成剪彩，林灵素便设坛斋醮，借助宏大的神霄殿，供奉长生大帝君和青华帝君，再放上那神霄九鼎，影响力一时无两，这座宫观也成为了事实上的神霄派的十方丛林。在全国范围内神霄宫下院也至少有四百座，每座神霄宫都赐千亩田产。前面也讲到了，这些些政令对百姓的伤害极重，“豪夺无涯”，比如在当时的苏州修建神霄宫时，“……合数百家，期五日尽徙。郡吏逼逐，民嗟哭于路”，这是当时的一个缩影。神霄宫的修建，前前后后大约持续了八年，耗费无数，“竭国力而经营之”，压于百姓身上的负担是何等沉重。就是在六贼当道，皇帝佞道妄为，“终日论道，无一言及时事”，国库账面上的红字一天比一天大，等到金兵大举南下的时候，财政几近崩溃，没办法只好又从道士手里收缴财物以充军费。
随着神霄派势力的庞大，林灵素也有些晕，晕了以后就容易膨胀，容易犯低级错误，所以才会不把王公大臣放在眼里，连储君都得给他让路。上行下效，道士们也高调，“群道元赖，官吏元敢少忤其意”，犯法后也没人敢管，“气焰赫然，林灵素为之宗主”。