胡乔木一生参与起草或修改过不少带有里程碑意义的重要文献，其中包括参加起草l954年宪法和l982年修改宪法。在这中间有过两次修改宪法，即1975年宪法和1978年宪法，他都没有参加。

　　1954年宪法是新中国成立后的第一部宪法，也是一部比较好的宪法，可是没能坚持执行。1975年宪法和l978年宪法，是在“文化大革命”期间和“文化大革命”刚结束的特殊背景下制定的，在指导思想和具体内容上都存在着严重缺陷。

　　党的十一届三中全会之后，国家形势发生了巨大的变化，1978年宪法的许多方面，同现实的情况、国家政治经济生活和人民对于建设现代化国家的需要，已经很不适应，需要对宪法作比较系统的修改。为此，中共中央于l980年8月30日致信全国人大五届三次会议主席团，建议全国人民代表大会成立宪法修改委员会，主持宪法的修改工作。9月10日，五届全国人大三次会议接受中共中央的建议，决定成立由l06人组成的宪法修改委员会，叶剑英任主任委员，宋庆龄、彭真任副主任委员，主持宪法修改工作。9月15日，宪法修改委员会举行第一次会议，决定成立宪法修改委员会秘书处，胡乔木任秘书长，负责宪法修改的具体工作。

　　1982年宪法起草和修改过程历时两年多，工作做得非常认真、慎重、周到。从1980年9月开始，宪法修改委员会秘书处委托各省、自治区、直辖市人大常委会、党中央各有关部门、国务院各部委、人民解放军总政治部和各人民团体，听取宪法修改的意见。同时还邀请法学、政治学、经济学、哲学、社会学等方面的专家、学者举行座谈。根据中央78个部门和地方29个省、自治区、直辖市报送的意见和座谈会意建，研究了1954年宪法、l975年宪法、l978年宪法和其他有关资料，将近一年时问，先后5次拟出宪法修改草案讨论稿(初稿)。1982年2月，宪法修改草案讨论稿经中央政治局原则批准，再次分送中央各部门、军事领导机关，各省、自治区、直辖市、人民团体，以及专家学者提出意见。2月27日，宪法修改委员会召开第二次会议，审议宪法修改草案讨论稿。从4月12日开始，宪法修改委会第三次会议用9天时间，对宪法修改草案进行了逐章、逐条、逐句、逐字的讨论修改，并通过了宪法修改草案，由全国人大常委会公布，交付全国各族人民讨论。11月4日至9日，宪法修改委员会第四次会议用5天时间，根据全民讨论过程中各方面提出的修改意见，对宪法修改草案再进行细致的讨论修改，并决定提交全国人大审议。ll月26日，彭真向五届全国人大五次会议作关于宪法修改草案的报告。12月4日，五届全国人大五次会议表决通过了宪法。

　　综上可以看出，在党中央和宪法修改委员会的领导下，l982年宪法凝聚了全党、全国各族人民的智慧，也是修改工作班子殚精竭虑、紧张工作的结果。

　　胡乔木接手宪法修改委员会秘书处工作时，正在忙于负责起草《关于建国以来党的若干历史问题的决议》和党的十二大文件的准备工作。他在秘书处抓了修改宪法的准备工作之后，便把主要精力转到起草《关于建国以来党的若干历史问题的决议》上了。1981年6月，党的十一届六中全会通过了《关于建国以来党的若干历史问题的决议》后，胡乔木因疲劳过度，随后又做了胆囊切除手术，身体虚弱，休息了一段时间。他后来具体动手修改宪法草案始于1982年初。那么，他在修改宪法草案过程中，做了哪些工作呢?说起来，主要有这么几项：

　　一、对宪法结构提出调整建议，突出加强人民民主，尊重人民权利的主体地位

　　以往三部宪法的结构都是第一章是总纲，第二章是国家机构，第三章是公民的基本权利与义务。l982年修改宪法草案的讨论稿也是这样安排的。

　　1982年2月16日上午，中央书记处讨论宪法修改问题。会上对宪法的结构有两种不同的意见：有人主张维持宪法原有的结构不变，即第一章总纲之后接着写国家机构，然后是第三章公民的基本权利和义务；胡乔木则主张公民的基本权利和义务应作为第二章，放在国家机构之前，接着总纲。他的理由是，公民的基本权利和义务是总纲的补充和继续，国家机构是程序问题，它是为前面实质问题服务的，世界上许多国家的宪法都是这样写的。两种意见相持不下，讨论没有结果。

　　当天下午，胡乔木让秘书黎虹告诉中国社会科学院法学研究所所长王叔文：“请尽快把世界各国宪法结构中的权利与义务一章查一下，看看哪些国家把它放在前面，哪些国家放在后面。简单列个表，明晨9时送到。”第二天清晨，王叔文就把材料送来。他们查了111个国家的宪法，其中101个国家放在前面，只有10个国家放在后面。随后，胡乔木把这份材料批送中央政治局常委和书记处各同志阅。

　　材料送出去的当天，邓小平找彭真、胡乔木、邓力群谈修改宪法问题。他说：“我同意胡乔木的意见，把公民的基本权利和义务放在国家机构前面。”这样，这个问题就算解决了。

　　1982年2月27日，在宪法修改委员会第二次会议上，胡乔木对宪法修改草案(讨论稿)作说明时说，把关于公民的基本权利和义务由过去的第三章提前到第二章，这也是加强人民民主、尊重人民权利的一种表现。还说，在整个这一章里面，贯穿的是马克思在第一国际章程里提出来的观点，就是没有无权利的义务，也没有无义务的权利，权利和义务是不可分的。