宰辅第位于余姚镇南河头保庆路,是明代大学士吕本(阁老)故居。吕本(1503一1587),字汝立,号南渠、期斋,早年曾拜谢丕、倪宗正为师。嘉靖十一年(1532)中进士,二十七年任南京国子监祭酒(大学校长)。次年廷推阁员,吕本被明世宗特选以少詹事的身份入内阁办事。二十九年,晋升为吏部右侍郎兼东阁大学士。三十年晋礼部尚书。三十三年进太子太保,兼文渊阁大学士。三十五年加少保,兼武英殿大学士,主管吏部事。次年晋光禄大夫,兼太子太傅。
宰辅第坐北朝南,沿纵轴线依次为门厅,轿厅、正厅、宝纶楼(御书楼)。每厅前均有围墙,正厅前有门楼,把庭院一分为二,形成两个庭院。里院中心有甬道,正厅两侧有套楼,外院东西两侧各有厢楼七间。
轿厅通面阔26米,分七间,明间脊檩枋上置一斗三升斗棋二攒,支撑脊檩。正厅通面阔20米,分五问,高大空阔,明间脊檩枋上置平身科四朵,次间置三朵,都为一斗三升斗拱。脊檩枋上刻有简练的单线条卷草纹,平身科斗棋边缘描有彩色线条,勾勒出斗棋轮廓。正厅之后经过一座石墙门洞即是宝纶楼,是收藏钦赐书籍及攻读诗文之所,原塑有御妹娘娘。正厅西边为“落马园”,“落马园”正北即是“玉兰堂”,是吕本出生处;东边紧连“天官府”,是明代戏曲理论家、吕本的曾孙吕天成的出生处。
宰辅第现仅存轿厅和正厅,已难见昔日的荣华景象。
1987年l0月16日,宰辅第已由余姚市人民政府公布为市级文保单位。