四王府原是明代皇室婴幼儿夭折埋葬之处。刘若愚《酌中志》云:“西山陵坟,景皇陵、皇太子坟、王坟、公主坟,各有掌府官一员,佥书十余员。以供洒扫、看守香火,凡有祭祀,即本处掌府官行礼”
刘若愚是明代太监,他以自己在宫内多年的耳闻目睹,记述了皇太子坟、五坟。此地被称之死王府,后避“死”字则改“四”字同音。四王府之名最早见于《五城寺院册》,“三教寺在四王府南”。说明是在清乾隆年间始称“四王府”。
周肇祥《琉璃厂杂记》中云:“由金山口沿山抵此,明代有府二十余。如四王府、忻王府、雍王府、申王府、皆诸诸王葬所”民国二十一年(1932)《北平市自治区坊所属街巷村里名称录》称“四王府”。