山东的名称，最早出现在战国时期，金代以前为地理概念，泛指崤山、华山或太行山以东的黄河流域广大地区。
因西周封邦建国时，今山东境内曾存有齐、鲁、曹、滕、卫诸国，周公旦封于鲁，所以现在山东又简称"鲁"。
史前时代
沂源县发现的距今四五十万年前更新世的"沂源人"化石，为直立人在中国的例子之一。山东石器时代文明包括距今7300年-6100年前的"北辛文化"、以及公元前4300年-前2500年的大汶口文化与龙山文化。汉字的较早发掘品目前追溯到山东历山县(今济南市历城区)龙山镇(今属济南章丘市)龙山文化的陶片。
石器时代早、中期的滕县北辛文化，距今也有七千年左右。举世闻名的原始社会末期的大汶口文化、龙山文化都是在山东首先发现的。
古代时期
先秦时代
夏朝开始，山东进入奴隶制社会。这时的山东"邦畿千里"，有许多方国和部落。今山东地区基本上由人方国(东夷族)控制，著名的部落有薛(今薛城)、蕃(今滕州)、有仍(今济宁市中区)、有缗(今金乡)、三朡(今定陶)、顾(今鄄城)、有莘(今曹县)、有穷(今平原县)、有鬲(今德州市德城区)、过(今莱州)、寒(今潍坊市寒亭区)、斟戈(灌)氏(在寿光东北)、斟寻氏(今潍城区)、费氏(在鱼台)、缯(今峄城)、杞氏(今安丘)、观氏(今莘县)等。
商朝建立之前，山东西部曾是商部落的活动中心，也是商王朝统治的中心区域之一;对山东东部未华夏化的东夷人，商王朝通过盟国奄国、薄姑国等对其进行统治。
商朝早期曾以今山东西南部为活动中心。商的始祖契都于蕃(今滕州)，相土东都在泰山下。以后势力向东发展，越过泗水(今泗河)，山东成为其主要活动区域之一。商初定都于亳(今属曹县)，后有八次迁都，其中前两次在山东境内。第五次由西而东迁至庇(今郓城)，第六次迁到奄(今曲阜)。商王朝的统治区域比夏代广阔，方国也进一步增多。今山东境内的方国主要有奄、薄姑(今博兴)、诸(今诸城)、莒(今胶州)、郯、逢(今青州)、画(今临淄)、顾(今鄄城)、蜀(今泰安一带)、黎(今郓城境内)、莱(今胶东地区)、杞(今新泰)、缯(今苍山)、莘(曹县一带)、任(济宁市中区)等。
公元前11世纪，周武王灭商纣，天下更始。武王首封辅佐有功的姜太公于齐;武王之弟周公则封于鲁。西周时代，实行"封邦建国"制度，建立了为数众多的诸侯国。今山东地区封国大约有40多个。其中齐国和鲁国是西周在今山东境内两个最大的诸侯国。它们发达的政治、经济、文化在中国古代历史上曾产生过重大的影响，以至后世将"齐鲁"、"齐鲁之邦"作为山东的古称，近代则以鲁为山东的简称。鲁国是周公的封邑，因周公年迈，由周公子子擒袭封，国于奄(今曲阜)。齐国始封姜尚，初建国都于营丘(今临淄地)，六世胡公迁薄姑，七世献公又迁都临淄。鲁国的疆土大致北抵泰山，东过黾蒙，南包凫峄，襟带汶泗;齐国的疆域大致东到海，西到黄河，南至穆陵，北达无棣。齐鲁之外，山东境内还有曹(都陶丘，定陶北)、薛(今滕州城南)、郯(今郯城)、颛臾(今平邑东南)、谭(今章丘市西)、纪(今寿光南)、滕(都滕，今滕州)等几十个国土较小的诸侯国。另外，今鲁西北和鲁西南的部分地区还分属邢国和卫国。
齐国定都营丘，后改名临淄，据《左传·僖公四年》，其疆域"东至于海、西至于河(黄河)、南至于穆陵(今沂水与临朐交界处)、北至于无棣(今河北盐山)"。齐国"通商工之业、便鱼盐之利，而人民多归"，融合"东夷文化(中华文明发祥地之一蚩尤部落创立)"、"因其俗，简其礼"，"举贤而尚功"，务实革新、兼容并包，国力相当鼎盛。齐国的工商业与技术如纺织业也非常发达，有"冠带衣履天下"的美誉。
鲁国都于曲阜，其疆域在《诗·鲁颂·宫》中描述为"泰山岩岩、鲁邦所詹。奄有龟蒙、遂荒大东。至于海邦、淮夷来同"。鲁国秉承周朝礼乐典仪是尊尚仁义、传统、伦理、人和的"礼仪之邦"。
曲阜孔庙大成殿的龙柱。齐鲁文化对中华文化的形成和发展有大量贡献及深远影响。生于鲁都曲阜的孔夫子在这里开创了儒家思想，成为后来中国社会框架与价值观的基石。蚩尤(中华先祖之一)、孔子、墨子、鲁班、孙子、孟子、扁鹊等都是齐鲁两国对中华文明多方面贡献的杰出代表。
公元前594年，鲁国的"初税亩"，表明在鲁国已出现封建生产关系的萌芽。公元前221年，秦灭六国，建立了统一的封建王朝，齐是最后被灭的一个诸侯国。自此以后，在两千多年的封建社会中，山东地区虽有时也曾为割据势力所盘踞，但总的来说，则是属于历代封建皇朝的一个有机组成部分。
春秋时期，山东境内还有其他许多小一些的诸侯国，仅见于《左传》的就有55国之多，其中疆域及影响较大的有莱、莒、邹、滕、曹等国，他们后来多被齐、鲁两国并吞。进入战国时代，齐国成为七雄之一;而今日山东的大部分地区都由齐、鲁两国拥有。公元前249年，楚国攻占鲁国;公元前223年，秦国攻陷楚国。及至公元前221年，齐国成为最后被秦国吞并的诸侯国。中国首次实现统一，齐鲁之地从此成为中国的有机组成部分。
战国时期(前475年--前221年)齐国吞并大多数小国，势力强盛，形成与秦东西对峙局面。战国末，今山东大部分地区归齐，只有南部一部分属楚，一部分归赵。
另据《尚书·禹贡》记载，古代中国分为冀、兖、青、徐、扬、荆、豫、梁、雍九州，今山东属青、徐、兖、豫、四州之域，周为青、兖、豫三州之地。不过，九州在当时并非一个确定的行政区划，真正的行政区划设置，当从秦朝实行郡县制起始。
春秋以后，诸侯国之间的征战、兼并不断，领土属地变化极快。国君为了集中权利，在征战中夺得的土地不再分封给属下，而设置县、郡，直接掌握在自己手中。直辖地长官由国君直接任命和控制，职位不得世袭。到了战国后期，这种郡县制行政区划形态基本形成。只有齐国例外，齐国将全国划分为五都，直至秦灭齐统一六国后，秦始皇采纳李斯的郡县制，分天下为三十六郡，才正式标志着在全国范围内政区建置的开始。
山东的纺织手工业举世闻名。战国时期，齐国即号称"冠带衣履天下"。临淄、定陶、亢父(今济宁)是汉代三大纺织中心。所产纺织品数量多、质量好，源源不断地通过"丝绸之路"输往西域等地。因此，当时山东地区是"丝绸之路"的主要源头之一。
秦汉时期
秦代实行的是以郡统县的二级行政制度。全国由最初分为36郡增加到后来的46郡。山东地域上主要有临淄郡(治临淄)、胶东郡(治即墨，今平度东南)、济北郡(治博阳，今泰安东南)、琅琊郡(治琅琊，今胶南市夏河城村)、薛郡(治鲁县，今曲阜)，另有部分地区分属东郡(治濮阳)、砀郡(治砀山)、东海郡(治郯县，今郯城北)、泗水郡(治相县)和巨鹿郡(治巨鹿)。共约设50个县。
秦末汉初，项羽分封诸将为王，将齐地划分为齐、胶东、济北三国。以田都为齐王，都于临淄;田安为济北王，都于博阳;田市为胶东王，都于即墨。
刘邦立汉后，实行郡国并行的制度。全国设置郡国62个，到了孝平二年(公元2年)全国共有郡国103个。汉初的山东地区，大部为齐悼惠王刘肥的封地。文帝采纳了贾谊"众建诸侯而少其力"的建议，把齐国一分为七，即齐、城阳、济北、济南、淄川、胶东、胶西。经"七国之乱"的调整。汉武帝元封五年(公元106年)，全国分为14个行政监察区，该机构除京畿范围的称做司隶校尉部，其余13个称为十三刺史部，每部设一名刺史。由于十三刺史部有十一部是以《禹贡》和《周礼》中的九州予以调整后命名，所以又通称十三州，山东地域的主要有青、兖、徐三刺史各部之地。冀、幽、豫三刺史部各有不少地区延伸到山东境内。
青州刺史部管辖6郡3国，下辖平原郡(领19县)、千乘郡(领15县)、济南郡(领14县)、北海郡(领26县)、东莱郡(领17县)、齐郡(领12县)、淄川国(领3县)、胶东国(领8县)、高密国(领5县)，共统领119县。
兖州刺史部管辖今山东高密以南、曲阜以东的广大地区。下领3郡4国。在山东境内有朗琊郡(领51县)、东海郡(领38县)和鲁国(领6县)。
兖州刺史部拥有今天山东聊城、长清、博山以南，沂源、蒙阴以西的鲁西北广大地区，下辖5郡3国。山东境内的郡国有泰山郡(领24县)、山阳郡(领22县)、济阴郡(领9县)、城阳国(领4县)、东平国(领7县)。
另有滕州以西的公丘县，属于豫州刺史部沛郡;平原、高唐以西，属于冀州刺史部清河郡;乐陵、无棣以北地区属于幽州刺史部渤海郡;鲁西和鲁南部分地区分属兖州东郡和徐州楚国。
东汉时期(公元25年--220年)全国重新划分郡县，但仍分天下为13部，降司隶校尉部为十三部之一，裁去朔方刺史部，改十三州为十二州。中平五年(188年)改刺史为州牧，掌一州军政大权，十三州正式成为郡、县之上的一级政区。此时全国设13州、105个郡国。山东地区主要为兖州、青州、徐州之域，局部地区属豫州和冀州，共有16个郡国，163个县。
山东素有"膏壤千里"的美誉，早期就有发达的农业与手工业，秦汉以来，成为中国的经济中心，山东地区号称"膏壤千里"，农业经济发达，山东的粮食不断沿黄河西溯，供应关中。山东是汉代"丝绸之路"的重要源头，临淄、定陶、亢父(今济宁)是全国的三大纺织中心，大量精致的纺织品自此源源不断地输往西域。
西汉时期，山东地区有人口1700余万，户390万，占全国当时人口的30%，人口密度居全国首位。
汉朝在今山东设2个州(一级行政区):北部的青州和南部的兖州。及至东汉、魏、晋、南北朝时期，争战频仍，经济有所破坏。
魏晋南北朝
三国时期(公元220年--265年)，山东地区为曹魏辖地。魏国在地方行政区划上承袭东汉，仍实行州、郡(国)、县三级制，在全国设有12个州、91个郡国。其中在山东境内设了20个郡国，150个县，分属青州、徐州、兖州、豫州、冀州。各州辖区与东汉差异不大。
西晋时期(公元265年--316年)，疆域和地方行政区划一如前朝，只是州的数量增多，辖区变小，全国分为19州及西域长史府，工173郡、国，1132个县。山东境内分属青州、兖州、徐州、豫州、冀州、司州(今聊城市的一部分)，共20个郡国，139个县。
北魏时期(公元385年--534年)，山东境内有青州、兖州、齐州(治历城)、济州(治卢县，今茌平)、光州(治掖县，进莱州)、北徐州(治即丘，今临沂城西北)、西兖州(治东武，今诸城)、南青州(治团城，今沂水城)、这一时期州郡设置激增，不少郡名重复。
北周时期(公元557年--581年)，统治者对地方行政区划作了较大的调整，全国设置215州，552郡，1056个县。山东境内有曹州(治左城，今定陶县)，下辖2郡8县;沂州(治即丘)，下辖1郡4县;兖州(治瑕丘)，下辖3军3县;青州(治东阳城)，辖3郡9县;齐州(治历城)，辖2郡9县、国;光州(治掖)，辖2郡6县。还在青州上置总管府，还有一部分地区属于徐州、洛州、冀州、沧州、魏州、贝州、邳州。
隋唐时期
隋初，山东各州县遍置粮仓，户口占全国总户数的21%。隋文帝对州县加以并改，使流行了很长时间的州郡县三级制，改为州县两级制，隋炀帝时，又废州改郡，以郡统县，恢复秦制。大业年间，全国设190郡，1255个县，山东地区分属于15郡，即:东莱郡(治掖县)、高密郡(治诸城)、北海郡(治青州城)、齐郡(治历城)、济北郡(治卢县，今茌平西南)、鲁郡(治瑕丘)、琅琊郡(治临沂)、彭城郡(治彭城，今徐州)、东平郡(治郓城)、济阴郡(治左城，今定陶县西)、东郡(治白马，今河南滑县)、渤海郡(治阳信)、平原郡(治安德，今陵县城)、清河郡(治清河)、武阳郡(治贵乡，今河北馆陶县境内)，共166县。
唐初，沿用前朝制度，到了武德元年(公元618年)去郡为州，实行州县两级制度。贞观元年(公元627年)，唐太宗整治地方行政区划，对州县大加并省，还以山川形势和自然地理，把全国分成十道，道不设长官，随时派员进行巡视。道之下设州，州辖县。到贞观十三年(公元639年)，全国共设10道，358州，41个都督府，1551个县。山东地域分属河南道和河北道。河南道面积较大，设在山东的州有登州(治蓬莱)、莱州(治掖县)、密州(治诸城)、青州(治益都)、淄州(治淄川)、齐州(治历城)、济州(治卢县，今茌平境内)、郓州(治郓城，后迁须昌，今东平县境内)、曹州(治左城，今定陶县内)兖州(治瑕丘)、沂州(治临沂)。河北道设在山东的有棣州(治厌次，今惠民县东南)、德州(治安德，今陵县)、博州(治聊城)。另有部分地区属于泗州、徐州、宋州、濮州、魏州、贝州、沧州。中唐以后，藩镇割据已经形成，全国节镇总数达50多个，其中驻地在山东境内的有淄青节度使(驻青州)、兖海节度使(又称泰宁军，驻兖州)、郓曹濮节度使(驻郓州，今东平县西北)。其他地区分属徐泗节度使、魏博节度使、沧景节度使。
到唐代，山东恢复发展。当时主要属于河南道。开元天宝年间，每年都有几百万石的粟米运至关中，而青、齐(今青州、济南)等地的物价仍远低于中国其他地方。开元年间，"海内富实，米斗之价钱十三，青、齐间斗才三钱。绢一匹，钱二百"。到了唐后期，虽经战乱，但山东农业生产仍在发展，"田畴大辟，库仓充积"。唐代兖州的镜花绫、青州的仙纹绫，都是驰名全国的精美织品。至唐后期，战乱又起。
五代十国时期
五代十国时期(公元907年--960年)，山东先后属于梁、唐、晋、汉周政权，行政区划基本承袭唐代。
宋元时期
宋金元时期，山东地区承受的封建剥削尤重，并不断遭受外来的侵扰和野蛮统治，经济处于滞退状态。
北宋(公元960年--1127年)初期，基本仿照唐制，全国分为13道。淳化四年(993年)十月又并为10道。至道三年(997年)改道为路，全国被分成15路，后又有所调整，到徽宗时，全国已设26路，路之下设府、州及带县的军、监，府、州、军、监下设县及不带县的军、监，地方行政区划实行路、府(州、军、监)、县(军、监)三级制。今山东地区属京东东路、京东西路及河北东路的一部。京东东路(治青州)所辖山东境内的有济南府(齐州升，治历城)和青(治益都)、密(治诸城)、沂(治临沂)、登(治蓬莱)、莱(治掖县)、淄(治淄川)、潍(治北海，今潍城)7州;京东西路(治应天府，今河南商丘县)所辖山东境内的有袭庆(兖州升，治瑕县，今兖州)、兴仁(曹州升，治佐城，今定陶西)、东平(郓州升，治郓州，今东平县州城镇)3府和济(治巨野)、单(治单父，，今单县)、濮(治鄄城)3州及广济军(驻定陶);山东北部地区，分属于河北东路的滨州(治渤海，今滨州市滨城镇北)、棣州(治厌次，今惠民县城)、德州(治安德)、博州(治聊城)及大名府、开德府、沧州、恩州、永静军等。全省设18个州府、1军和90个县。
北宋后期，皇帝昏庸，奸臣当道，宋江等人为了民族大义，天下黎民百姓，在水泊梁山起兵造反(现济宁市梁山县)，这个故事被施耐庵编写成《水浒传》，为中国四大名著之一。
宋代在青州设立织锦院，专门织造高级纺织品。宋神宗时，在山东"和买"绢帛，每年达30万匹左右。
金代(公元1115年--1234年)的地方行政区划基本承袭北宋，金国辖区分为19路，在往下分府、州、县，并改京东东路、京东西路为山东东路、山东西路，这是在历史上第一次把"山东"这个古老的地理区域作为行政区划名称。
金元时期，剥削严重，加上受到不断的外来侵扰及野蛮统治，社会与经济处于滞退状态。到元代，山东只有126万人、38万户，与金代相比，人数减少约87%、户数减少约75% 。金代山东人口约1000万，144万户。
金末，为抵御蒙古军队的入侵和镇压山东各地农民起义，金朝统治者命尚书户部侍郎梁镗行六部尚书事于山东，从此有了"山东行省"的名称。后又设立"东平行省"，为行省制度的开端。
元代(公元1271年--1368年)，统治阶级为了加强对占领区的控制，沿袭了行省制度，先后在山东地区设立了东平行省、济南行省、山东淮南楚州行省、益都行省、山东行省等。行省下设路、府、州、县，形成了四级地方行政制度。当时山东和河北、山西、内蒙等地作为元朝的"腹里"地区，是中央特区，由中书省直辖，故山东地区没有设立行省，而是直接设路和直隶州。今山东地区设有东平(驻须城，今东平)、东昌(驻聊城)、济宁(驻巨野)、益都(驻益都)、济南(驻历城)、般阳(驻淄川)、等6路，辖曹、濮、德、高昌、泰安、恩、冠、宁海、棣、莱、滨、峄、沂、滕、莒、密、登、胶、潍、博兴、兖、单、济、陵等24州，共辖103县。由于中书省区域太大，因管理之需，在路之上又设立了肃政廉访司和宣慰司作为监察区域。山东地区分属山东东西道宣慰司(驻益都)、山东东西道肃政廉访司(驻济南)及燕南河北道肃政廉访司的一部分。
明清时期
洪武九年(1376年)，改行中书省为承宣布政使司，以分领天下州府县;同时废路，省以下设府和直隶州，再下设散州和县，为地方三级行政体制，当时除南、北二京直隶中央外，全国各地分设13个布政使司，山东为其中之一，治济南府，此后，济南一直为山东省会。山东布政使司下辖6府15州89县，大部分县名沿用至今。这6府是:济南、东昌、兖州、青州、登州、莱州。此外，河间府、大名府的部分县也在今山东境内。
明初光复时，山东"多是无人之地"，政府奖励人民垦荒。到洪武二十六年(1393年)，山东的耕地面积有7240余万亩，是北宋时期的2.4倍，居全国第三位。1421年永乐皇帝迁都北京以后，京杭大运河沿线的济宁和临清由于漕运的发展而繁荣起来。
明朝地方基本上是三权分立的，承宣布政使司主管一省民政和财政;都指挥使司主管军队;提刑按察使司主管刑法，下设按察分司(又称道)，山东境内设3道以统个府、州、县。山东都指挥使司统领境内个卫所驻军，先是组织抗倭和沿海地区的防卫工作，以后随着屯防制度的破坏，逐步兼理民事，变为地方一级政区。明代在山东地区共设有9卫10所，分别是安东卫、鳌山卫、灵山卫、大嵩卫、靖海卫、成山卫、威海卫、任城卫、平山卫和雄崖所、夏河寨前所、浮山前所、王徐寨前所、宁津所、寻山后所、百尺崖后所、金山左所、海阳所、奇山所。
清代(公元1636--1911年)，统治者将地方一级政区一律该称为省。除沿用明代13省外，又新置5省，共18省，到康熙年间，山东耕地达到9000余万亩。
近代时期
晚清时期
1860年代，烟台成为山东第一个开放口岸。1895年，在甲午战争中，日军攻占威海，北洋海军全军覆没。1898年，青岛和威海分别租借给德国和英国。德国还修筑了从青岛通往济南的胶济铁路(1905年)，和津浦铁路的北段(1911年)，把山东当作自己的势力范围。1899年，义和团从山东兴起，攻击遍布全省的西方传教士。光绪时，又增至23省。省行政长官称为巡抚，有些省还设总督。总督有兼管数省者，也有只管一省者。巡抚主管一省民政;总督则主管军政，但也对民政有督导权。省下设府、直隶州、直隶厅，府州之下设县与散州、散厅，形成省、府(直隶州、直隶厅)、县(散州、散厅)三级地方行政管理体制。清末，山东省下设济南、东昌、泰安、武定、兖州、沂州、曹州、登州、莱州、青州等10个府，临清、济宁、胶州等三个直隶州，共104个散县(含8个散州)。省治驻济南，其范围相当于今天的山东全境。清政府还为了监察地方，还设立道作为监察区域，道设在省与府之间，山东有三道，即济东泰武临道、兖沂曹济道、登莱青道。另外，直隶的庆云县、宁津县、东明县也属于今山东。
清末，面对俄国和日本的威胁，东北终于向汉族移民开放，加上民国初年张作霖的鼓励措施，在100年间有为数上千万的山东农民闯关东谋生，成为今天东北人中的重要组成部分。
民国时期
1914年，日军从德国手中夺取青岛。1919年"五四"运动期间，山东人民掀起了声势浩大的反帝爱国运动。"五四"运动以后，山东成立了早期的共产主义小组，1921年，王尽美、邓恩铭参加了中国共产党第一次全国代表大会，成为全国建党最早的省份之一。第一次国内革命战争和第二次国内革命战争时期，在中国共产党的领导下，山东人民在阳谷、高唐、博兴、益都、日照、苍山、昆嵛山等地举行武装暴动，反对新旧军阀和帝国主义的压迫剥削，支援革命战争。
1922年华盛顿会议后归还中国。国民政府从英国手中收回威海。
1928年，山东省撤消道这一级，省直辖107个县。提高省政府驻地也由济南迁至泰安。
1929年4月，青岛被列为特别市，直属行政院。7月，分出历城县县城和城外商埠及其四邻设立济南市(普通市)，省政府又迁回济南。10月，国民政府收回威海卫，设立威海卫行政区，直属行政院。
1932年，国民政府办法《行政督察专员公署暂行条例》，规定省以下设行政督察员专署，作为省政府的派出机构。1936年1月，山东全省被划分为12个行政督察区，先后设立济宁、菏泽、临沂、临清、惠民、聊城、牟平等7个行政督察专员公署，辖69县。其余地区未设专员公署，仍直隶于省政府管辖。济南市、烟台特区直隶山东省民政厅管辖。
1937年-1945年的抗日战争中，日军占领了山东的铁路和城市，共产党则在农村建立起沂蒙山、胶东等解放区。抗日战争时期山东人民先后发动了冀鲁边、鲁西北、天福山、黑铁山、牛头镇、徂徕山、泰西、鲁南、湖西等抗日武装起义，创建了胶东、渤海、滨海、鲁中、鲁南五个解放区，至1945年5月下旬，人民武装力量已发展到21.3万人，民兵41万人，在八年抗战中共歼灭日伪军43.9万多人。
抗日战争胜利后，山东人民又配合中国人民解放军，粉碎了国民党军队的重点进攻，进行了鲁南、莱芜、孟良崮、潍县、济南等著名战役。1947年5月，陈毅的华东人民解放军在孟良崮全歼中央军精锐部队张灵甫74师。1948年9月24日，陈毅的部队攻占济南，在寿光俘虏逃往青岛途中的山东省主席王耀武。1949年6月2日，美军从青岛撤退后，解放军进驻该城。
,
