灵山卫是明代的海防工程，始建于明朝洪武五年，当初是为了抵御倭寇袭扰而修建的沿海军事重镇。它起源于明代特有的军民合一的管理体制。卫所制度是明朝的一种主要军事制度，为明太祖所创立，其构想来自于隋唐时代的府兵制。
按照明太祖朱元璋的设计，"跨府设卫，连县设所"，灵山卫由当时的莱州府管辖，浮山所、雄崖所属于鳌山卫，灵山卫下辖后所在胶州，前所位于现琅邪镇夏河所，左所在灵山卫城内。往南就是青州府所辖的安东卫，下辖左所石臼所、后所涛雒所，右所安东卫本所。沿着中国东部沿海，东到鸭绿江口的丹东卫，南到广东的番禺卫，最盛时有58卫、89所，绵延4000余公里，构成了东南沿海的防御链条。
1372年(洪武5年)右丞相魏国公徐达，派遣指挥佥事朱兴来此建造灵山卫土城，以防倭寇。历史上曾与天津卫、威海卫齐名。它东接即墨的鳌山卫，南联日照市的安东卫。在山东设立宁海卫(牟平)、莱州卫、登州卫(蓬莱)、青州卫、鳌山卫、威海卫、成山卫(荣城)、靖海卫(荣城)、大嵩卫(海阳)、灵山卫、安东卫(日照)。构成了明代沿海防卫的链条。建成后，城周为三里，围墙高二丈五尺、厚一丈二尺五，东西南北各有城门，护城河深为二丈五尺，宽二丈。
第二次于永乐二年(1404年)指挥佥事郭崇又大兴土木，城池周长扩建为五里，外包以青砖，四门加城门楼，增铺所十余所。
第三次于弘治元年(1488年)，分巡副使赵鹤令檄指挥使再次重修，四方设门，四门加楼，东曰朝阳，西曰阅武，南曰镇海，北曰承恩。
历经三次营建，灵山卫城城池整齐，规模宏大。呈正方形，城墙两面转砌，中间以黄土夯实。城开四门，门洞上方皆有门楼。城中的十字大街贯穿所城东西南北，街面宽敞，形若棋盘，布局对称，因南面海上有灵山岛，卫以山得名，故叫灵山卫。。《灵山卫志.建置志》载:"四门洞达，街为十字，均齐方正，形若棋盘，巷口有石若棋子，中有界河自北水门入，由南水门出，汇于城南，渐次归海。"城中分东、西、南、北四街，建有卫署、学宫、经历司、仓廒等。城东有演武场，建有将台、厅堂。城外还有社稷坛、风坛、云坛、雷坛、雨坛、先农坛、城隍庙、关帝庙、玄武庙、三官庙、三司庙、马神庙、观音阁、福寿寺、朝阳寺等宗教教建筑;有文林坊、柱史坊等坊表建筑;有通济桥、长平桥、迎鹤桥、小石桥等桥梁建筑。
灵山卫是一座海防城市，它集军、政、民于一身，既是沿海国防的重要卫城，又是沿海军政要地，按照当时的话说是:“上马管军、下马管民”，其地位非常重要，品级也很高，卫指挥使为正三品职级，相当于军队的师职，地方的地级市。不仅各种军事职能齐备，而且民事管理职能也很完善，管辖的行政区域远大于地级市，而且它还具备军屯、民屯制度，财政职能直属于兵部、户部管辖，建制上早于青岛开埠近三百年，直到清朝雍正十二年才降格成为灵山巡检分司，但职级上仍和当时的胶州平级。
清雍正十二年(1734)撤卫划归即墨，裁并后，古城日渐荒废。卫城于道光年间开始倒塌，至民国二十年(1931年)只留下四门和部分城墙，上个世纪60年代年代初期还保留有西阅武门和部分残墙，目前几乎全部拆除，只有重建的城隍庙和两株600余年的银杏树。有道是：“今来古往，物是人非，天地里，唯有江山不老。”
