中央决定取消各大行政区之后，张劲夫调到北京，先是任地方工业部党组书记、副部长。1956年春节，他接到中央组织部部长安子文的电话通知，中央决定调他出任中国科学院党组书记、副院长，作为郭沫若院长的助手，主持全院的日常工作。在新的岗位上，他经常是第一个上班，最后一个下班，陈老总称赞说他是“劲夫有劲！”

张劲夫有“捧着一颗心来，不带半根草去”和“人生为一大事来，做一大事去”的情操和志向，善良无私，又有知人之明，是科学院党组的好“班长”。这突出表现在他团结院党组一班人，发挥党组织的集体领导作用方面。党组成员中，原来的有秦力生、郁文，新来的有裴丽生（院党组副书记）、杜润生、谢鑫鹤。张劲夫坚持党的原则，也用他的政治智慧和人格魅力，使院党组朝气蓬勃，极富战斗力。

他对郭沫若院长以及李四光、竺可桢、吴有训副院长等科学家领导极为敬重。他牢牢记住了陈毅的话：在郭老的领导下工作是一种幸运。郭老是国内外知名的学者、作家，又担任国家领导职务，国务活动繁忙，放心和放手让张劲夫主持科学院日常工作。张劲夫凡是科学院党组的重大事情，都亲自向郭老汇报，取得他的支持，彼此建立了个人之间的深厚友谊。在文革初期郭老很紧张，他写信给张劲夫讲了自己的心情，张劲夫及时建议中央对郭老采取保护措施，得到中央的认可。张劲夫在文革中遭到迫害，身体患病，需要回家医治的时候，他给郭老写信说明情况。郭老请示中央领导同意，使他得到了及时治疗和休养，比较快地恢复了健康。

张劲夫既有军人的果敢，又有文人的细腻。他总是“跑步”传达中央的指示，创造性地执行党的决议。他自己就像一块煤炭，燃烧自己，给别人带来温暖和光明。他把科学家看成是“国宝”，是“纵通专家”，他自己则充当杂家，是起“横联”作用的。他把后勤工作看作是党联系群众的“思想的桥”、“感情的船”，要由此把科学家联合起来搞“向科学进军”。他抓政治、抓科研、抓后勤，三手都很硬。正是因为他团结好了党组一班人，用好了这批骨干，所以中国科学院这盘棋能满盘皆活。

从1956年到1966年的历史实践证明：张劲夫率领院党组一班人，调动全院科学工作者和广大干部、群众的积极性，团结奋斗，发愤图强，创造了科学院的十年辉煌，不负中央期望，使科学院充分发挥了在全国科技事业中的“火车头”作用。