桂斋在荷亭西北侧,原为皇华亭故址。
新建的“桂斋”由前后两院组成,北院为桂斋正厅和“林文忠公读书处”组成,庭院西侧有游廊和碑亭。南院为假山鱼池,有六角亭及石拱桥各一。
桂斋东面院外为禁烟亭,建于民国十八年(公元1929年)六月,平面正方形,四角方形混凝土柱,西式叠涩檐口,攒尖顶,是1949年前留下的唯一建筑。
清道光九年(西元1829年),福建布政使程含章见屏山原李纲祠破败不堪,“心窃伤之”,遂募集资金欲重建。时林则徐丁父忧在家守制,受托主持西湖疏浚工程,程含章与林则徐商议后,选西湖荷亭旧址,兴建新的李忠定公(李纲)祠,并附建纪念李纲读书处的“桂斋”。建成后留有程含章撰稿,林则徐手书《新建宋李忠定公祠堂记》。“桂斋”为李忠定公祠的花厅,取李纲晚年住所为名,并植桂花两株。
林则徐曾语于亲故:不求身后立祠,但得配祀李忠定公祠足矣。道光三十年(西元1850年)林则徐卒,翌年,州人奉其遗像祀于桂斋中。
光绪三十一年(西元1905年),澳门路林文忠公祠成,此处改称“林文忠公读书处”,并篆书石刻嵌于墙上。
民国十八年(公元1929年)又在斋旁建室一间和禁烟亭一座。
1949年以后,尤其是文革-时期,李忠定公祠和桂斋被毁。
1961年公布为福州市第一批市级文物保护单位。