大行政区制度的设立，是中共根据建国时的客观情况所做的重要决策。在1949年3月七届二中全会上，周恩来首次提出中央向地方分权的问题，即：由分散到统一，不是几个月而是要几年才能完成的。由于地区的不平衡，产生了区域性和分权问题。中国不是联邦，但是带区域性的。这么大的中国，如果过分强调集中，会办不好事。所以在组织形式上不能一下子都集权，一定要授权地方，才能发挥积极性。但中央必须成为掌握政策的司令部。[5]中共中央随后发出文件，正式提出“中央领导之下的区域制”，指出由于中国地方广大，经济落后，又由于革命发展不平衡，战区与非战区，新区与老区，解放区与国统区有很大的区别。因此，在中央领导下的区域制，在相当长时期内仍然必要。[6]由此确定将全国划分不同行政区域的方针。9月，中国人民政治协商会议第一届全体会议通过的《中央人民政府组织法》规定：“依据政务院的提议，任免或批准各大行政区和省市人民政府的主席、副主席和主要的行政人员。”[7]大行政区制度在法律上得到确定。12月，中央人民政府委员会分别任命东北、华东、中南、西北、西南五大行政区的领导人，政务院随后通过《大行政区人民政府委员会组织通则》，大行政区制度正式建立。

　　大行政区政权机关是“人民政府”或“军政委员会”，分别为各该地区所辖省（市）高一级的地方政权机关，并为政务院领导地方政府的代表机关。[8]有的学者误以为，大区人民政府和军政委员会只是名称不同，并无区别。实际上，两者并不完全相同。《大行政区人民政府委员会组织通则》规定：“凡军事行动已经结束，土地改革已经彻底实现，各界人民已有充分组织的大行政区，即应实行普选，召开大行政区的人民代表大会，正式选举大行政区人民政府委员会。在大行政区人民政府委员会成立后，军政委员会即宣告结束。”[9]可见，大行政区“人民政府”须经民主程序选举产生；“军政委员会”是在此之前代行大区人民政府职权的过渡机构。 

　　大行政区人民政府仅建于东北。华北曾于1948年9月建立华北人民政府，但于1949年11月被撤销，所辖五省二市归中央直属。[10]大行政区制度建立后，中央人民政府增设“政务院华北事务部”，负责联系和指导华北五省和天津市的工作。1952年4月，中央人民政府撤销华北事务部，成立“政务院华北行政委员会”。11月，各大行政区人民政府或军政委员会一律改为“中央人民政府行政委员会”，华北与其他大区行政委员会一样，归中央人民政府直属。因此，大行政区时期，华北并没有设立大行政区政府一类的政权机关。

　　东北人民政府的前身最早称“东北政联行政委员会”，为当时东北解放区的最高行政领导机关，1946年更名为“东北行政委员会”。1949年8月，东北人民代表会议选举产生东北人民政府，12月经中央人民政府委员会批准正式成立。其体制和机构与原华北人民政府略同，置主席一人、副主席三人、政府委员若干人组成东北人民政府委员会。东北人民政府下设民政、教育、财政、工业、商业、农业、交通、公安、卫生、司法、文化等部、财政经济委员会、司法委员会、人民法院、东北银行等。另设劳动局、荣誉军人管理委员会、文物保管委员会、办公厅、外事处、东北科学院（后称中国科学院东北分院）。另外，东北财经委员会内还设有“计划委员会”。

　　大行政区军政委员会分别建于西北、华东、中南和西南四个新解放区。“军政委员会”这个机构名称，最早是由原国民党湖南省主席程潜提出的。程于1949年6月向中共递交《备忘录》，表示愿谋求湖南局部和平，并要求在湘设立由自己领导的“中国国民党湖南人民临时军政委员会”。毛泽东立即复电同意，并致电林彪，提出和平解决湖南问题的办法，是建立“湖南军政委员会”，以程潜为主席，以中共的人为副主席。[11]随后，毛泽东将“军政委员会”这一机构形式推广到其他未解放地区。他致电彭德怀提出，整个西北，地区甚广，民族甚复杂，欲求彻底、健全而又迅速的解决，必须在采用战斗方式的同时辅以政治方式。其办法即为组织“军政委员会”，以为临时过渡机构。[12]从此，军政委员会成为新解放地区的最高政权机关。至1950年7月，四大行政区军政委员会相继成立。

　　军政委员会作为过渡性机构，不经各该地区人民代表会议选举，由中央人民政府任命产生。由主席一人、副主席若干人、委员若干人组成，一般均设民政、公安、财政、商业、工业、农业、水利、交通、邮电、劳动、人事、文教、卫生、司法等部，体育运动、民族事务、人民监察等委员会等。

　　中央人民政府正式宣布撤销大行政区，是在1954年第一届全国人民代表大会召开前夕。但在此一年多以前，大区性质实际已发生变化。1952年底，中央人民政府将各大区人民政府或军政委员会一律改为中央人民政府行政委员会，“代表中央人民政府在各该地区进行领导与监督地方政府的机关。”[13]从此，大行政区不再是地方最高一级政权机构，而只是作为中央人民政府的派出机关，对地方政府行使督导之责。新设中央人民政府各行政委员会也一律从原先军政委员会的“实级”变为“虚级”。在1954年6月在全国人民代表大会召开前，中央人民政府撤消了各行政委员会，大行政区制度正式结束。

　　在大行政区时期，全国省级行政区划变化很大。最初划有辽东、辽西、吉林、松江、黑龙江、热河、陕西、甘肃、宁夏、青海、新疆、山东、江苏、安徽、浙江、福建、台湾、河南、湖北、湖南、江西、广东、广西、云南、贵州、西康、河北、察哈尔、绥远、山西、平原，以及内蒙古自治区、川东、川西、川南、川北行政区、重庆和西藏地方。1952年撤销平原省和察哈省；1954年撤销绥远省；东北合并为辽宁、吉林、黑龙江三省，此外撤销八个行政区，将川东、川南、川西、川北、皖北、皖南、苏北、苏南行政区，合并为四川、安徽、江苏三省。

　　市的变化也很大。除有直属中央人民政府的直辖市外，还有隶属于省人民政府的市、隶属于专区的市。最初，直辖市设有北京、天津、上海、南京、武汉、广州、重庆、西安、沈阳、长春、哈尔滨、旅大、鞍山、抚顺、本溪。但当时除北京、天津因华北未设大区政府，确属中央，其他上海、南京等市实际都隶属于各大行政区。1953年1月，南京市先改为江苏省辖市，以后随着中央人民政府撤销各大行政区，将沈阳、旅大、鞍山、抚顺、本溪、长春、哈尔滨、武汉、广州、重庆、西安十一个市也改为省辖市。

　　撤销大行政区和省、市区划的变化，为1954年中华人民共和国宪法（简称1954年宪法）确立了当代中国地方政制打下基础。