灵隐寺建于东晋年间，东晋咸和三年(328年)，印度僧人慧理在杭州看到飞来峰，说：“此乃天竺灵鹫峰小岭，不知何代飞来？佛在世说：“多为仙灵所隐。”慧理见同来的人不太相信，又对他们说：“此峰向有黑白二猿，在洞修行，必相随至此。”慧理说完话就对着洞口招呼，果然有两只猿走了出来。慧理后来在这里建了灵鹫寺、灵山寺、灵峰寺、灵隐寺和灵顺寺，如今唯有灵隐寺尚存。
塔是佛教文化中特有的一种建筑，在灵隐寺这座古刹自不会少。自隋唐以来，历代都有新的塔被建起来，总数量有数十座。其中龙泓洞的理公塔是为纪念灵隐寺的开山祖师慧理而建，塔高七层，前三层分别雕刻有罗汉像、塔铭和《金刚经》，后四层饰有佛像。塔内存有慧理的骨灰。灵隐寺在元末大乱中，变得残破不堪。在明朝遭遇几次大火，到清朝的一次失火后，灵隐寺仅剩下直指堂无损。清朝多个皇帝多次拨款重建。
康熙到灵隐寺游览时，曾题写寺名。但是他一不留神，把“靈”的“雨”字头就给写大了，复杂的下半部分不容易往上写了。随行的高士奇见状，就悄悄在手上写下“云林”两个字，在假装研磨时让皇上看他的掌心。康熙一见大喜，在“雨”字下加了一个“云”，成了“雲林寺”。所以灵隐寺又名云林寺。康熙到过灵隐寺五次，赐过黄金、御笔《金刚经》、人参等。他的孙子乾隆也六次到访灵隐寺，题诗三十余首，亲笔写了“鹫岭龙宫”和“涌翠披云”两块匾额。
1860年，太平军攻陷杭州，灵隐寺再遭池鱼之殃，建筑大都被损坏，仅有天王殿和罗汉堂幸免。抗战爆发后，灵隐寺附属建筑客堂、东山门、梵香阁等毁于战火。1949年7月，大雄宝殿因年久失修而倒塌，殿内3尊佛像被压毁。新中国初期重建大雄宝殿灵隐寺依山势而建，由下而上的主要建筑依次为大门、天王殿、大雄宝殿、直指堂、藏经楼和华严殿。
