在内城的城门洞上方，有一块“斗筑可居”的匾额，是陈廷敬的伯父陈昌言所写。因此，内城的历史就要推算到明朝“宣德”到“崇祯”年间。当时明朝已是烽烟四起，朝不保夕，而富甲一方的陈氏家族经常受到农民义军的袭扰，为了保护家财，同义军对抗，陈昌言开始筹划修建城堡。

历经数年，动用了大量的资财、民工、粮食才建成了内城。“斗筑居”的意思可能是陈昌言自我谦逊的一种说法，他把这么一大片官居、民宅混居一起，既能打仗御敌，又可藏人聚财的地方。

康熙皇帝为了表彰陈氏一门忠于朝廷，为国为民都很有建树的品德功劳，在陈廷敬升任后，也同时为他的父亲陈昌期、祖父陈经济，曾祖父陈三乐封赠了不同品级的官员，并下旨要他回家树功德牌楼，为世人做一个楷模。在内城外的过道上修建了一座功德牌楼，把自他以后兄弟子侄十人的具体功名和官职全部铭刻在上面。

到了康熙42年，陈廷敬官拜文阁大学士兼吏部尚书，于是大兴土木修葺中道庄外城墙，又在门楼前上方增挂了“大学士第”匾额一块，“大学士第”的大门里，迎面是一座雕工精美的大影壁，正中间的浮雕是“麒麟吐玉”。

由大门进庭院的正门称为“仪门”实际上就是二门，过了二门，是迎客大厅，大厅正面雕漆屏架上高悬着康熙皇帝御笔亲书的“点翰堂”三个鎏金大字和“龙飞凤舞”、“博文约礼”两个御制匾额，更显得这里富丽堂皇。整个厅院按前堂后寝，东书房西花园的格局修建而成，显得井然有序，庄严和谐。怪不得许多人看后，称这里为皇城小故宫。

据传，康熙皇帝由陈廷敬陪同视察洛阳后，执意来到陈廷敬的府第，看到这里山清水秀，民风淳厚，一时兴起，便写诗一首赐于陈廷敬，第一次把陈廷敬府第称为相府。后来也就传之四海而皆知了。

两城的建筑风格截然不同，内城的房屋坐东朝西，外城的房屋坐北朝南。内城依山就势，有高大的河山楼，密密层层的藏兵洞，还有地道通往城外，是一座很好的防御工事。外城地势平坦，房屋齐整，有厅堂书房、亭阁花园，住房有尊卑之分，整体就是一处官宦巨宅。内城表现的是坚不可攻，牢不可破的防御主题；外城体现的是清雅高贵的盛世风貌。两城互为映衬，互补长短，如果走进去看看，就像在看一幅漫漫古典画卷。

御书楼金碧辉煌，中道庄巍峨壮观，斗筑居府院连绵，河山楼雄伟险峻，藏兵洞层叠奇妙，是一处罕见的明清两代城堡式官宦住宅建筑群，被专家誉为“中国北方第一文化巨族之宅”。2018中国黄河旅游大会上，皇城相府被评为“中国黄河50景”。