原建于唐开元年间,唐会昌五年(845)建立楼阁,五代重修,名“瑞像寺”、大中祥符元年(1008)赐名为“宝相寺”、至明永乐九年(1411)重建佛阁三层五楹,取名“毗卢阁”,万历廿九年(1601)建无梁桥,现在的五层五楹为光绪十九年(1893)重建。
大殿1981年大修,增塑文殊、普贤,重塑十八罗汉,主体建筑改为五层七楹,依崖而建,歇山顶,飞檐翘角,逐层退进成塔形,外观雄伟壮丽而又精巧稳重。
“逍遥楼”匾额为唐颜真卿手书;“大雄宝殿”为清俞樾书,殿内楹联“理哲家言同源西圣、华严法界现象南明”为蔡元培书。