您当前的位置 : 浙江在线 >  时政新闻 > 国内综合 正文
全球最大智能模型“悟道2.0”发布
2021年06月03日 09:06:35 来源:科技日报

  6月1日,由北京智源人工智能研究院(以下简称智源研究院)主办的2021北京智源大会在北京中关村国家自主创新示范区会议中心成功开幕。

  北京智源大会是智源研究院主办的年度国际性人工智能高端学术交流活动,定位于“AI内行顶级盛会”,2019年举办了首届大会,今年为第三届,6月1日至3日线上线下同步召开,超过3万多名人工智能领域专业人士注册参会。

  大会开幕式上,北京市副市长靳伟、科技部战略规划司司长许倞出席并致辞。靳伟在致辞中指出,近年来,北京市大力推动人工智能的加速发展,在前沿研究、人才发展、应用示范、资金支持等方面出台了一系列有力举措,加快建设首个国家新一代人工智能创新发展试验区,持续推动智源研究院等新型研发机构发展。目前已拥有人工智能相关企业1500余家,拥有人工智能学者超过四千人,产业人才超过四万人,论文的发表和专利的申请量均居全国第一,形成了人工智能人才、成果、企业集聚的强磁场。

  靳伟同时指出,当前,超大规模的预训练模型成为全球人工智能技术研发的热点和竞争的焦点,有望引领未来五至十年的技术跃迁,并带来全新的产业模式。为了迎接“大模型+大算力”时代的到来,北京市支持智源研究院牵头建设“超大规模人工智能模型训练平台”,打造“悟道”系列模型。希望国内外的广大高校、科研机构和创新企业积极参与到大模型的研发和应用生态中,基于该平台不断产出具有国际领先水平的标志性技术和应用成果。

  科技部战略规划司司长许倞在致辞中指出,目前科技部正在加快推进新一代人工智能规划有关任务落实,实施重大项目,支持北京等15个地方建设国家新一代人工智能创新发展试验区,依托领军企业建设自动驾驶、智能供应链、图像感知等15个国家新一代人工智能开放创新平台,加快人工智能在疫情防控中的广泛应用,推动人工智能治理,发布实施新一代人工智能治理原则,建设包括政策法规、伦理规范、技术标准等在内的人工智能治理体系。

  许倞同时指出,当前科技部正在全力支持北京市建设国际科技创新中心,与北京市共同实施支持北京加快建设具有全球影响力的人工智能创新策源地行动计划,希望北京市在加强原创性科技攻关、强化战略科技力量、塑造良好创新生态、激发人才创新活力、推进开放合作等方面持续发力,加强能力和生态构建,构筑人工智能等重点领域技术的优势,在国际科技创新中心建设方面走出一条新路子。同时希望智源研究院加大超大规模智能模型的持续研发及产业生态建设,早日建成我国人工智能研发应用的重要基础设施。

  在大会开幕式上,智源研究院发布了全球最大的超大规模智能模型“悟道2.0”。在为期三天的会议中,智源研究院还将发布支持AI创业的“源创计划”,以及为海内外青年AI科研人员提供学术交流平台的“青源会”等工作计划或建设成果。

  打造最综合、最前沿的AI盛会

  本次大会邀请到200余位国内外人工智能领域的顶尖专家参会,包括2018年图灵奖得主Yoshua Bengio(约书亚·本吉奥),2017年图灵奖得主David Patterson(大卫·帕特森),2017年欧洲大脑奖得主Peter Dayan(彼得·达扬),清华大学国家金融研究院院长朱民博士,北京大学鄂维南院士,加州大学伯克利分校人工智能统计中心创始人Stuart Russell(斯图尔特·罗素),自动驾驶之父Sebastian Thrun(塞巴斯蒂安·特龙),计算可持续性领域开创者Carla Gomes(卡拉·戈梅斯),艾伦人工智能研究所(AI2)首席执行官Oren Etzioni(欧伦·艾佐奥尼),微软亚洲研究院副院长刘铁岩,清华智能产业研究院首席科学家马维英等。参会专家将围绕人工智能领域的前沿研究进展及趋势开展深入研讨。

  大会围绕国际人工智能学术前沿和产业热点设置了“预训练模型”“机器学习”“群体智能”“人工智能的数理基础”“智能体系架构与芯片”“精准智能”“智能信息检索与挖掘”“青源学术年会”“AI创业”“AI制药”“AI系统”“AI开放与共享”“AI科技女性”等29个专题论坛。议题范围非常丰富,从AI基础研究、跨界融合到产业应用,给学者、工程师、技术人员提供了一个交换和活跃想法的平台。

  在6月1日的开幕式上,图灵奖得主Yoshua Bengio、清华大学国家金融研究院院长朱民博士,北京大学鄂维南院士分别围绕逻辑分析系统System2、数据资产、科学与智能做主旨报告。

  发布全球最大的超大规模智能模型“悟道2.0”

  开幕式上,智源研究院理事长张宏江介绍了“悟道”模型研发的背景。他认为,目前,“大模型+大算力”是迈向通用人工智能的一条可行路径。大模型对于人工智能发展具有重大意义,未来将基于大模型形成类似电网的变革性AI产业基础设施。AI大模型相当于“发电厂”,将数据,也就是“燃料”,转换为智能能力,驱动各种AI应用。如果将大模型和所有的AI应用相连接,为用户提供统一的智能能力,全社会将形成一个智能能力生产和使用的网络,即“智网”。大模型就是下一个AI的基础平台,是未来AI发展的战略基础设施。

  目前,国际主流的大模型主要基于英文语料研发,智源研究院作为AI基础建设的先行者,成立了由智源研究院学术副院长唐杰教授领衔,100多位科研骨干共同参与的“悟道”团队,启动面向中文的大规模智能模型研发工作。“悟道”模型系统将构建“大模型、大平台、大生态”,持续研发超大规模智能模型,围绕大模型研发,构建大规模算力平台,同时对外开放模型能力,“赋智”各行业发展,构建大模型生态。今年3月20日,智源研究院发布了中国首个超大规模智能模型“悟道1.0”,训练出中文、多模态、认知、蛋白质预测等系列模型。经过不到3个月的持续更新迭代,“悟道2.0”实现了更高层面的跨越。

  开幕式上,智源研究院学术副院长唐杰教授介绍了“悟道2.0”模型的具体情况。他提到,“悟道”超大模型智能模型旨在打造数据和知识双轮驱动的认知智能,让机器能够像人一样思考,实现超越图灵测试的机器认知能力。“悟道”团队在大规模预训练模型研发上做了很多基础性工作,形成了自主的超大规模智能模型技术创新体系,拥有从预训练理论技术到预训练工具,再到预训练模型构建和最终模型测评的完整链条,从技术上是完整成熟的。通过一系列原始创新和技术突破,本次发布的“悟道2.0”实现了“大而聪明”,具备大规模、高精度、高效率的特点。

  “悟道2.0”模型的参数规模达到1.75万亿,是GPT-3的10倍,打破了之前由GoogleSwitch Transformer预训练模型创造的1.6万亿参数记录,是目前中国首个、全球最大的万亿级模型。

  开创性的研发FastMoE技术,是打破国外技术瓶颈,实现“万亿模型”基石的关键。以往,由于Google万亿模型的核 技术MoE(Mixture of Experts)与其分布式训练框架和其定制硬件强绑定,绝大多数人无法得到使用与研究的机会。“悟道”团队研究并开源的FastMoE是首个支持PyTorch框架的MoE系统,具有简单易用、灵活、高性能等特点,并且支持大规模并行训练。新一代FastMoE,支持Switch、GShard等复杂均衡策略,支持不同专家不同模型,为万亿模型实现方案补上了最后 块短板,让梦想终成现实。

  “悟道2.0”模型在中英双语共4.9T的高质量大规模清洗数据上进行的训练。训练数据包含WuDaoCorpora中的1.2TB中文文本数据、2.5TB中文图文数据,以及Pile数据集的1.2TB英文文本数据。

  另外,“悟道2.0”模型一统文本与视觉两大阵地,支撑更多任务,更加通用化。“悟道2.0”在世界公认的9项Benchmark基准测试任务上取得优异成绩,达到了精准智能。

  “悟道”模型研发过程中,智源研究院建设了全球最大的语料数据库WuDaoCorpora2.0,包含全球最大的中文文本数据集、全球最大的多模态数据集、全球最大的对话数据集,为行业内大规模智能模型的研发提供了丰富的数据支撑。

  另外,智源研究院提出“智源指数”,构建以人类语言能力为参照、全面系统的针对机器语言能力进行评测的体系。“智源指数”首次提出了基于“能力-任务-数据集”层次结构的机器语言评测体系及评测方案,包含6种主要语言能力,30余项主流任务与相关数据集,同时也是首次基于信度、难度、效度等指标进行评价的高质量评测数据集合,形成了大模型“权威考卷。

  智源研究院推动开展“悟道”超大规模智能模型产业生态建设,将面向个人开发者、中小创新企业、行业应用企业、IT领军企业等不同主体,分别提供模型开源、API调用、“专业版”大模型开发、大模型开发许可授权等多种形态的模型能力服务,赋能AI技术研发。

  本次大会开幕式上,智源研究院与新华社、美团、小米、快手、搜狗、360、寒武纪、第四范式、好未来、智谱华章等22家“悟道”大模型产业生态战略合作企业进行了签约,签约企业涵盖行业应用企业、IT龙头企业、中小创新企业等。同时发出组建“悟道”大模型技术创新生态联盟的倡议,吸引更多企业加入,将以联盟为枢纽,以企业需求为导向推动模型研发,共同开发基于“悟道”大模型的智能应用,以模型研发和应用促进产业集聚。

  另外,智源研究院还启动“悟道之巅”模型应用大赛,鼓励各类创新机构及技术人员基于“悟道”大模型开发新颖实用的智能应用,赋智更行业发展,同时不断发掘和培育基于超大规模智能模型的创新企业,推动本市人工智能产业可持续发展。

  支撑北京加快建设具有全球影响力的人工智能创新策源地

  开幕式上,智源研究院院长黄铁军教授从创新研究、学术生态、产业发展与AI治理四个方面介绍了智源研究院的工作规划和建设进展。

  据黄院长介绍,智源研究院已经确定将打造智能模型作为源头创新的核心任务,在组织架构、资源保障和机制体制上进行了系统部署,全力构建信息模型、生命模型和物理模型“智能三剑客”。

  首先是“悟道”信息模型,数据是智能的素材,通过“大数据+大算力+强算法”,训练超大规模信息模型,为各行各业智能化提供切实可用的共性基础智能模型,是当前及未来一段时间人工智能全面赋智经济社会发展的中心任务。然后是“天演”生命模型:生命是智能的第一载体,模拟仿真亿万年进化而成的生物神经系统和身体,构建生命智能模型,挖掘生物智能机制机理,是发展新一代人工智能的不竭源泉。最后是“天道”物理模型:自然是生命的摇篮,地球是人类的摇篮,构建地球环境物理模型,是实现类人智能和人机共处共融的必要条件。建立宇宙物理模型,推动智能走出地球、穿越时空。

  构建信息模型、物理模型和生命模型,共同需求是算力。目前北京市已支持建设超大规模智算平台,构建体系架构先进、高速互联互通、可扩展高效并行的软硬件系统。

  “智源学者计划”自2019年4月开始实施,目标是遴选最优秀的科学家,勇闯人工智能科技前沿“无人区”,挑战最基础的问题和最关键的难题。截至目前,已在人工智能的数理基础、人工智能的认知神经基础、机器学习、自然语言处理、智能信息检索与挖掘、智能系统架构与芯片等六大研究方向,遴选智源学者94人,分别来自北大、清华、中科院等高校院所与旷视、京东等优势企业。

  智源研究院持续推动智源社区建设,着力构建人工智能学者社交网络。今年智源社区将紧密联系3000名以上的人工智能顶尖学者,辐射10万以上人工智能科研和技术人员。

  特别面向青年科研人员,智源研究院今年成立了AI青年科学家学术组织“青源会”,为海内外的AI青年科学家和技术人员建立的宽松、活跃的学术交流平台,促进学科交叉,支持青年科学家提出具有引领作用的原创思想,开创新的科学前沿,建立活跃的人工智能学术和技术创新生态。

  智源研究院加快推进人工智能深度应用,孵化AI创新企业,推动人工智能产业发展。当前,健康医疗已成为人工智能最热门的研究和应用领域之一,北京在发展智能医疗方面,有着得天独厚的优势。为推进AI原创成果在医疗行业落地,智源研究院成立了“健康医疗研究中心”,构建医疗大数据和高质量小数据等基础数据,支持智能医疗核心技术突破,加快人工智能在健康医疗领域的深度应用。智源研究院与清华智能产业研究院(AIR)开展深度合作,推动以“个人”为核心的、AI驱动的主动健康管理。

  为推动AI原创成果转化落地,智源研究院去年启动建设了创新中心,加速AI原创成果熟化及工程化,目前已建立了智能信息处理、认知知识图谱、安全人工智能等多个创新中心。今年,智源研究院按照国家和北京市促进科技成果转化的最新部署,积极整合技术、场景、人才、资金等资源,推出支持AI创业的“源创计划”,为AI创业团队开放大模型、数据集等生态资源,为来自学术界的AI科学家创业团队对接应用场景,为来自产业界的创业团队对接业界领先的AI技术,加快形成可落地应用的AI产品。另外,还将通过设立创业基金等方式,加快孵化一批具有国际领先技术能力的AI创新企业,为北京AI产业的持续发展储备力量。(记者 华凌)

标签:人工智能;悟道;研究院;智能模型;研发;智能;应用;北京市;悟道2.0;创新企业 责任编辑:冯贺
版权和免责申明

凡注有"浙江在线"或电头为"浙江在线"的稿件,均为浙江在线独家版权所有,未经许可不得转载或镜像;授权转载必须注明来源为"浙江在线",并保留"浙江在线"的电头。

Copyright © 1999-2019 Zjol. All Rights Reserved浙江在线版权所有

全球最大智能模型“悟道2.0”发布