祖先は、800年前に能登に流された「大納言・平時忠 ・・・平清盛の義弟」と伝えられ、子の「時国」を初代として現在で25代目。江戸初期から300石の豪農として天領大庄屋を務め、江戸後期に21代当主が現在の巨大で格式高い屋敷を28年かけて建造した。現存する近世木造民家では最大級である。
大庄屋屋敷として公用部分と私用部分を分割した構造で、公用部分の中心に大納言格式を示す「縁金折上格天井」の「大納言の間（別名 御前の間）」を配している。広間の襖には、家紋でもある平家定紋の「丸に揚羽蝶」を金箔で描いて連ねている。 座敷の境上部には両面彫りの欄間を飾り、御前の間の欄間は蜃気楼を描いた珍しいものである。
広い空間を占める土間は、この巨大な建物を支える柱・梁組と、萱ぶき大屋根の内側構造を見ることができる。総欅造り唐破風の正面玄関も民家では珍しい。
私用部分の部屋には、現在は展示品を陳列している。大庄屋の公務用品、千石船用品、日用品などで、極初期の輪島塗の器は美術品として評価が高い。
鎌倉風の池泉回遊式庭園は、背後の山を自然に組み込んだ巧みな構成で、素朴ではあるが力強い作風であり、国の名勝に指定されている。