裴家大院的始建者名为裴宇,是明嘉靖年间的尚书,裴宇小时候就聪明好学,饱读诗书,先后考中举人、进士,为官期间曾做过翰林、礼部尚书、工部尚书等职。裴宇是明朝的三朝元老之一,他经历了嘉靖、隆庆、万历三位皇帝,因为人正直,看不惯当时明朝的政治腐败,奸佞横行,不愿与权奸为伍,壮志难酬,晚年辞官回到大阳养老。
裴宇的后人在此后的明清五六百年间对裴家大院不断扩建增建,沿中轴线依次增加院落,前院、中院、后院、麒麟院、狮子院等等,每座院落都是一个独立完整的小世界,院落的院墙之间留有多条巷道,形成通廊互相连接曲折蜿蜒的巷道极大地丰富了院落的层次感,漫步其间趣味十足。