1954年12月,谷牧同志调任国家建设委员会副主任。1955年4月,他任国务院第三办公室副主任。1956年7月至1965年3月,他任国家经济委员会副主任、党组委员、党组副书记,1964年8月至1965年3月兼任中央工业交通政治部主任。在第一个五年计划期间,他参与制定了重工业生产技术发展规划,为新中国经济的平稳发展和社会主义经济体系的建立作出了重要贡献。在大跃进之后我国面临严重经济困难的形势下,他积极贯彻中央对国民经济实行“调整、巩固、充实、提高”的八字方针,组织“十人小组”开展经济部门和工业交通战线的工作,负责全国的生产建设调度。1965年4月,他任国家基本建设委员会主任、党组书记。他认真贯彻执行中央关于加速三线建设、逐步改变工业布局的方针,深入西南、西北地区实地考察,部署三线建设布局,为我国三线地区的交通建设、国防工业建设、电子工业建设等做了大量卓有成效的工作。
“文化大革命”期间,谷牧同志受到林彪、江青集团的迫害。1966年9月,党中央决定谷牧同志协助国务院领导同志抓经济工作。谷牧同志常常白天挨批斗,晚上抓工作。面对“四人帮”的倒行逆施,他刚正不阿、坚持真理,进行了顽强斗争。在最艰苦的时候,他时刻不忘国家建设,全力协助周恩来总理管理工业、交通和生产建设等经济工作,努力减少“文化大革命”造成的损失,表现出了共产党人的高贵品格和革命气节。
1973年3月后,谷牧同志的领导职务得到恢复,任国家基本建设委员会革委会主任、党的核心小组组长,兼任国家计划委员会革委会副主任、党的核心小组副组长。在周恩来总理的关心和支持下,由他主抓的港口建设工作取得显著成绩,到1975年底,我国沿海新建了40多个万吨级深水码头泊位,港口综合吞吐能力比1972年增长50%,为改革开放以后更大规模的港口建设积累了经验。1975年1月,他任国务院副总理兼国家基本建设委员会主任、党组书记。在邓小平同志主持下,他参与组织实施对国民经济的全面整顿,并以铁路运输为整顿的突破口,推动了铁路运输形势的好转,带动了煤炭、电力等行业的生产建设。随后,他又开展了钢铁和其他产业的整顿。他贯彻落实中央的方针,组织调整全国基本建设项目,压缩投资规模,调整投资方向,努力解决国民经济比例失调问题。他重视城市建设和人民生活环境的改善,为解决当时城市发展滞后、市政公用设施不足、城市居民住房困难等问题做了大量艰苦细致的工作。他坚持在城市建设中做好文物古迹保护工作,制止了一些地方乱占乱建、破坏文物古迹的行为。