1954年，随着中国政权组织形式的确定和各级政权机关的建立，从当年底开始，用了一年多的时间，对中央和地方各级机关进行了一次较大规模的精简。以后，随依法成立的国务院开始增设机构，到1956年，机构总数达81个，形成了建国以来政府机构数量的第一次高峰。

1958年，撤销合并了国家建设委员会等10多个单位。经过调整，国务院部委减少8个，直属机构减少5个。到同年底，国务院设68个工作部门。1959年，国务院工作部门又作了进一步调整和撤并，到同年底，国务院设39个部委，21个直属机构和办事机构，机构总数达60个，比1956年减少21个。