晚山古宅背靠春阳面宜阳里南侧的矮山，朝东而坐，高耸的挑山顶大门坐落于11间规模的行廊斋之间，一进门就能看到宽敞的舍廊院子，正前方即是舍廊房和里屋相连的「口」字型正屋。正屋为正面5间、侧面8间、共21间的规模，大部分住宅的舍廊房朝南而建，但这间古宅的舍廊房则向东，里屋则是南向的。结果就是和里屋相连的中门变成朝北，为了阻挡因此入侵的冷风，中门与内院连接时转了一个弯，同时也挡住了视线。舍廊房由2通间大厅和2通间舍廊房组成，前面是檐廊，而舍廊房右侧是龕室。舍廊檐廊后面是地板房和里间。
里屋和舍廊房的后方相连，环绕著内院。在里大厅左侧，里屋呈纵向长长地朝南而坐，右边则前后坐落著上房和2间装饰地板房。厨房和中间房在里屋前方相连成左翅形状，还有一扇通往里屋后院的门。3间仓库在装饰地板房前面以右翅模样相连。由于晚山古宅是春阳面富人家的宅邸，建筑的用材十分庞大，且选用了优质木材。
