我国是一个历史悠久的大国，早在4000多年前的殷商时代就有了行政区划的萌芽。秦以前实行的是分封制，即国王将京都以外的国土分封给其亲属或有功之臣，获得封地的诸侯再依次将封地（除其驻地以外）封给其亲属。至西周逐渐形成（诸侯）国、采邑两级制。这种划分是地方行政区的雏形，各区之间没有明确的界线。
郡县制萌芽于春秋战国时期。各诸侯在征战中，胜者则掠得土地、财富和人口，对新增的土地设置县，在边远地区设置郡，“克敌者上大夫受县，下大夫受郡”。当时县的地位比郡高。战国时期，边地逐渐繁荣，才在郡下设县，产生郡县两级制。公元前221年秦统一六国后，在全国推行郡县制，分天下为36郡，后增加到46郡，县隶于郡，约1000个，成为中国在中央集权下有正式地方行政区划的开始。
西汉末年，一级行政区划郡县增至103个，不便管理，为加强中央集权，汉武帝将京师附近7郡以外96个郡划分为13个刺史部，每部设刺史1人，负责监察管区内的吏政。后将刺史部改称州，刺史改称州牧，成为地方行政长官，直接掌握一州的军政大权。州正式成为郡以上的一级行政区域，管辖其下的郡、县，行政区划由二级制演变为州-郡-县三级制。隋、唐初时又曾改为二级制。但唐中后期又改为道、州、县三级制，将全国分为15道。宋朝行政区划则设路、州、县三级。
元、明、清三代在行政区划上的特点是设立行省，作为我国地方的最高一级行政区域单位。元代除京师附近地区直隶于中书省外，在全国设置11行中书省，简称11行省，表明是中央派出的官员处理地方事务，是中央的行动机构。元初行省是征战服务的临时性机构，后来逐步作为地方行政建制确定下来，成为常设的地方最高一级行政机构。当时省的面积较大，如江浙行省包括现今的浙江省、福建省以及江苏长江以南的苏南地区；湖广行省包括现今的湖南、广西、贵州和湖北的长江以南地区。
明初承袭元朝行省制，但将元的行省缩小，划分为两京和13个布政司（习惯上仍称为行省）作为一级行政区划单位。两京指京师和南京（明成祖将首都由南京迁北京，南京仍作为陪都，故称两京）。前者称京师，辖今河北，也称北直隶；南京辖今江苏、安徽两省，又称南直隶。13个布政司为山东、山西、河南、陕西、四川、湖广、浙江、江西、福建、广东、广西、云南、贵州。
清初，沿袭明布政使司之制，改北直隶为直隶，改南直隶为江南布政使司。后将江南、陕西、湖广布政使司均一分为二，江南布政使司分为江苏、安徽；陕西分为陕西、甘肃；湖广分为湖北、湖南。又将布政使司改为省，合称内地18省。1884年置新疆省，1885年置台湾省，1907年将清初设置的盛京、吉林、黑龙江三将军辖区改设为奉天、吉林、黑龙江三省，至清末共设22省。此外，在藏族地区设西藏办事大臣辖区和西宁办事大臣辖区。在元岭北省辖区设立乌里雅苏台将军辖区和内蒙古地区。
民国时期承袭清省制，对省区划分作了变动，改直隶为河北，改奉天为辽宁。1928年设热河、绥远、察哈尔、西康、青海、宁夏6省。台湾省当时被日本侵占。全国共有28个省，西藏和外蒙古称“地方”，由蒙藏委员会管辖。1945年抗日战争胜利后，收复台湾省，东北改设为9个省。全国设35省及西藏地方。1946年外蒙古独立。
中华人民共和国成立后，行政区划的性质和作用发生了根本性的变化。为了配合社会改革，恢复和发展经济，团结各族人民，巩固政权，对原有行政区划作了一系列改革。
1．大行政区的设立与撤销 中华人民共和国成立前夕，先后建立了华北、东北、西北、华东、中南、西南6大行政区。大区设人民政府或军政委员会，是一级地方政府。省成为二级行政单位。1952年底，6大区改设行政委员会，仅代表中央在各地区领导和监督地方政府，本身不再是一级地方政权。为了加强集中统一领导，1954年撤销了各大区行政委员会，恢复省为地方最高一级行政区域单位。
2．省区的变更 1949年后，根据形势发展和经济建设的需要，先后增设、撤销或合并了若干省区。
（1）1950年撤销四川省，设川东、川西、川南、川北 4个行署区。1952年又重新合并为四川省。江苏省曾于1949年划分为苏北、苏南两个行署区，1953年又重新合并为江苏省。安徽省于1949年一度分为皖北、皖南两个行署区，1952年重新合并为安徽省。
（2）1952年撤销平原省，辖区分别划归河北、河南、山东三省。同年撤销察哈尔省，分别并入河北、山西二省。1955年撤销辽东、辽西两省，合并设立辽宁省；撤销松江省，并入黑龙江省；撤销宁夏省，并入甘肃省；撤销绥远省，并入1947年成立的内蒙古自治区。1955年还撤销热河省，分别并入河北、辽宁和内蒙古；撤销西康省并入四川省。1988年设立海南省。
3．建立民族自治区 我国实施民族区域自治，在少数民族聚居地区先后建立了5个相当于省级行政区的民族自治区。
1）1947年设立内蒙古自治区，经多次调整，到1979年形成目前内蒙古自治区管辖的范围。
2）1955年撤销新疆省建制，设立新疆维吾尔自治区。
3）1958年撤销广西省建制，设立广西壮族自治区。
4）1958年设立宁夏回族自治区。
5）1956年建立西藏自治区筹备委员会，1965年设立西藏自治区。
4．中央直辖市的调整 50年代初中央直接管辖的直辖市有14个，大行政区撤销后，将其中11个市改为省辖市。1954年起仅保留北京、上海、天津3个直辖市，1997年又增设重庆市。