Dưới thời nhà Nguyễn, việc xây dựng phủ đệ dinh thự của tầng lớp trên cũng như nhà cửa của dân chúng đều được pháp luật quy định chặt chẽ. Với phủ đệ của các hoàng thân, quốc thích có quy định riêng, chẳng hạn năm 1816, vua Gia Long chuẩn định: “Phàm dựng làm nhà phủ cho hoàng tử, công chúa, thì chính đường 5 gian 2 chái, tiền đường 7 gian, chung quanh mái chồng hợp làm một tòa, lợp ngói âm dương, bốn chung quanh xây bao bằng tường gạch, mặt trước, mặt sau đều mở một cửa vòm, trong cửa xây bình phong”(1). Sang đời Minh Mạng, vào năm thứ ba (1822) lại quy định: “Phàm nhà phủ hoàng tử, hoàng đệ, trưởng công chúa, công chúa, chính đường tiền đường đều 3 gian 2 chái và lợp ngói âm dương, các khoảnh nhà hành lang, cánh gà, nhà bếp chiếu theo đó mà làm”
Việc xây dựng phủ đệ, dinh thự chủ yếu dựa trên sự ban cấp đất đai, tiền bạc, bổng lộc của nhà vua và phải tuân thủ theo những quy định của triều đình về kiến trúc và trang trí. Phủ thờ Diên Khánh Vương cũng ra đời trong hoàn cảnh đó.
Phủ thờ Diên Khánh Vương nguyên trước đây tọa lạc tại làng Vân Thê (xã Thủy Thanh), được lập năm 1817. Đến năm 1857, vua Tự Đức ban sắc cho cải kiến từ làng Vân Thê lên làng Vĩ Dạ. Lúc đầu, phủ thờ được xây theo hướng Tây Nam, với chủ ý phủ luôn luôn hướng về Hoàng Cung. Sau thấy phủ xây hướng như vậy không thuận tiện và thiếu mỹ quan nên năm Đinh Mùi (1867) phủ tâu lên nhà vua xin cải kiến quay theo hướng Đông Bắc như ngày nay. Tuy phủ được xây dựng và sửa chữa nhiều lần nhưng vẫn giữ kiến trúc nhà rường truyền thống đồng thời gìn giữ nhiều hiện vật quý giá. Hiện nay Phủ thờ tọa lạc tại số 228 đường Nguyễn Sinh Cung, phường Vỹ Dạ, thành phố Huế. Với khuôn viên đất rộng 1170,7m2, Phủ thờ Diên Khánh Vương là kiểu nhà vườn truyền thống đặc trưng, mang nhiều giá trị lịch sử văn hóa, nghệ thuật
Lăng mộ Diên Khánh Vương tọa lạc tại khu vực 5 (phường An Tây, TP. Huế). Trước đây khi ông mất (1854), việc tế điện đắp mộ, Triều Nguyễn chiếu cấp tiền để làm. Vua Tự Đức làm bài thơ để viếng. Những bài ơn dụ trước, sau và bài thơ của Vua làm được khắc vào bia, được quan ở Sử quán xét hành trạng và soạn văn bia ở trước mộ để lưu giữ.