【花园】“清末首富”胡雪岩故居有“江南第一豪宅”之称，如果从外部看，则是高高的围墙，没有任何特别之处。然而，一旦进入内部则会眼前的景象所震撼。“富丽堂皇、金碧辉煌、美轮美奂、极尽奢华”，这是很多游客来到胡雪岩故居参观后的最大感受。
【奢华的回廊】胡雪岩故居坐落在杭城东南元宝街，这是一条窄窄的小巷。两头低中间高，呈元宝状，风水极佳。胡雪岩故居占地10.8亩，四周围墙用糯米熬汤糊砖砌成，其坚固不亚于水泥，可以防火、防水。这座奢华府邸是胡雪岩巅峰时期修建，历时三年，耗资约300万两白银。
【各种摆件】胡雪岩在全盛时期，富可敌国，官至布政使，二品顶戴，紫禁城骑马，赏穿黄马褂，显赫一时。然而，胡雪岩这所豪宅大门，却没有权贵巨富之家的那种宽阔和气派，非常不起眼。这是因为胡雪岩深谙“深情不寿，强极则辱”的道理，故而寄寓“藏而不露”的用意。
【厨房】胡雪岩故居依旧采用了我国传统宅第的中轴线对称布局，中轴区为待客厅堂，由轿厅、正厅、四面厅组成；右边是居室庭院，由楠木厅、鸳鸯厅、清雅堂、和乐堂、颐夏院、融冬院组成，供成群妻妾居住；左边是芝园，其间有回廊相连，曲池相通。
【清雅堂】胡雪岩故居的材料选用了大量名贵的紫檀、酸枝、楠木、银杏、花梨、南洋杉和中国榉，做工精细，雕刻彩绘精美绝伦，达到无品不精，有形皆丽。整座宅院亭、台、楼、阁，高低错落，清雅和谐。另外，碑廊、石栏、小桥、水亭，款款用心，步步是景，奢华至极。
【芝园】“芝园”二字是胡雪岩为了纪念父亲胡芝田，占地约2亩，院内结构紧凑，有影怜院、荟锦堂、洗秋院、锁春堂和延碧堂，景色非常优美。芝园也是胡雪岩故居的精华所在，它以山水景象为主题，将回廊、楼阁错落而致，呈现出一幅小桥流水的美丽景观，无景不奇。
【佛堂】胡雪岩故居是典型的徽派建筑，处处是高墙、深院、重门、窄窗。胡雪岩对彩色玻璃非常痴迷，这些玻璃都是进口的，造价高昂。另外，花园中假山下则建有国内现存最大的人工溶洞，曲折迂回，巧夺天工，太奢华了。
【御风楼（远处，当时是杭州城最高点）】“当官需读曾国藩，经商需读胡雪岩。”时至今日，人们对胡雪岩的解读依旧没有停止。据李伯元《南亭笔记》记载，胡雪岩的生活穷奢极欲，蓄妾达三十六人，以象牙签刻名，每夜抽取侍寝的幸运选手。
【胡雪岩的画像】史书记载，“胡雪岩家素贫，年弱冠，入钱肆习贾事，以诚谨闻。”然而，这座号称“江南第一豪宅”建成仅仅20年后，胡雪岩受到强大洋商们和官员们的双重挤压，最终走向失败。清光绪十一年（1885年）十一月，胡雪岩在贫恨交加中郁郁而终。
【芝园大戏台】芝园内有一座大戏台，戏台正对面的御风楼是当时杭州城内最高的建筑，主人坐在楼前，便可隔池听戏，意境非凡。尽管胡雪岩故居奢华无比，但是他的下场令人唏嘘。时任有歌谣唱曰：“传家有道惟存厚，处世无奇但率真。有道是富不过三代，胡雪岩连一代也没有富到头。”
