科技观察｜“书生通用大模型体系”发布！全面升级后可赋能医疗交通等场景

封面新闻记者 边雪

作为数字经济时代的重要基础设施、关键技术、先导产业以及赋能引擎，人工智能（AI）已在自动驾驶、智慧城市等领域广泛应用，成为改善生活质量、推动产业优化升级的重要驱动力。作为AI产业化再加速的推动者，“大模型”对自我迭代升级，也一样没落下。

7月6日，2023世界人工智能大会（WAIC 2023）开幕。在开幕式和科学前沿全体会议上，上海人工智能实验室（上海AI实验室）与商汤科技联合香港中文大学、复旦大学、上海交通大学及清华大学发布全新升级的“书生通用大模型体系”（以下简称“书生大模型”），包括书生·多模态、书生·浦语和书生·天际等三大基础模型，以及首个面向大模型研发与应用的全链条开源体系。

书生通用大模型体系在WAIC 2023开幕式现场发布。

目前，书生大模型在130多个评测中性能达世界领先或先进水平，值得注意的是，基于书生大模型，上海AI实验室联合团队夺得计算机视觉顶级会议CVPR 2023最佳论文奖，为近40年来署名全部为中国学术机构的文章首次获此殊荣。

当被问及大模型升级的意义时，上海AI实验室主任助理乔宇教授表示：“实验室坚持以原始创新引领技术进步，以开源开放赋能创新生态；此次书生通用大模型体系全面升级，模型家族进一步丰富，能力更强，覆盖模态和任务更广；同时，实验室还在模型、数据、工具和评测等层面进行全方位开源，推动技术创新与产业进步。”

书生·多模态大模型在WAIC 2023现场发布。

无缝整合多种模态 

实现开放世界理解

如同人类是通过多种信息认识世界，让AI模型认知和理解现实世界，也需要突破单一模态，融合视觉、语言、语音等多种模态信息。

其中，书生·多模态无缝整合了语言、图像、视频等多种模态，首次实现通过自然语言定义视觉任务，并具有多模态交互和跨模态生成能力；升级后的书生·浦语为国内首个正式发布的支持8K语境长度的千亿参数级语言大模型；书生·天际则是全球首个城市级NeRF实景三维大模型，具备千亿参数，在全球首次实现对100平方公里城市实景进行4K高精度建模以及编辑。

“书生”（INTERN）自2021年发布后历经数次升级，从国内首个覆盖多种视觉任务的通用大模型，逐步升级为涵括视觉、语言和三维等在内的大模型体系。

此次发布的书生多模态模型（InternLMM，Intern Large Multimodal Model）包含200亿参数，使用80亿多模态样本训练。书生多模态大模型可通过自然语言定义各种任务，实现开放世界理解，支持多模态生成和跨模态交互，并支持350万语义标签的识别和理解，覆盖开放世界常见的类别和概念。书生体系在80多种多模态和视觉评测任务中性能领先，超过了谷歌、微软、OpenAI等研发的同类模型。

“书生”根据张大千的 《湖山清夏图》创作的七言绝句。

书生·浦语大模型全面升级 

多项评测超越 ChatGPT

书生·浦语（InternLM）是国内首个正式发布的支持8K语境长度的千亿参数级语言大模型， 具有1040亿参数，是在包含18000亿 token 的高质量语料上训练而成。

据上海AI实验室林达华教授介绍，自今年6月正式亮相后，书生·浦语在一个月内进行全面升级，具体包括五个方面：

第一，语境窗口的长度从2K提升到8K，这使其具备了理解长输入、展开复杂推理以及进行长时间多轮对话的能力；

第二，多语种和结构化表达能力进一步加强，新版模型支持二十多种语言，还可通过表格和图表等方式汇总与呈现复杂信息；

第三，多维度能力全面提升，在42个主流评测集上性能明显提升；

第四，数理逻辑能力明显进步，大幅提高了数值计算、函数运算、方程求解等数理能力，在数学评测集 GSM8K 上性能从62.9提高到73.2，在2023年高考数学选择题上，正确率提升超过70%；

第五，安全与对齐能力显著增强，通过更有效的指令微调，包括基于人类反馈的强化学习（RLHF），新版模型可以更可靠地遵循人类指令，安全性也得到明显改善。

在全面升级的同时，书生·浦语也正式开源了一个70亿参数的轻量级版本InternLM-7B，以及贯穿数据、预训练、微调、部署和评测五大环节的全链条工具体系。（开源链接：https://github.com/InternLM）

林达华教授告诉封面新闻记者：“在大模型时代，基座模型和相关的工具体系是大模型创新的技术基石。通过书生·浦语的高质量全方位开源开放，我们希望可以助力大模型的创新和应用，让更多的领域和行业受惠于大模型变革的浪潮。”

书生·浦语开源体系在WAIC 2023发布

值得注意的是，InternLM-7B 在包含40个评测集的全维度评测中展现出卓越且平衡的性能，全面领先现有开源模型，它在两个被广泛采用的基准 MMLU 和 CEval 上分别取得了50.8和52.8的高分，刷新了7B量级模型的世界纪录。

InternLM-7B 在全维度评测中展现出卓越且平衡的性能。

此外，书生·浦语还开源了全链条工具体系，涵盖数据、预训练、微调、部署和评测五大环节。

赋能应用 

全球首个城市级NeRF实景三维大模型

上海AI实验室对大模型的探索，从视觉模型、语言模型扩展至多模态以及交互的深入研究，并进一步延伸至三维、城市空间。在WAIC 2023上，上海AI实验室联合香港中文大学、上海市测绘院发布全球首个城市级NeRF实景三维大模型书生·天际。

封面新闻记者在会场了解到，目前，书生·天际已实现对100平方公里范围进行城市实景建模，分辨率精度可达4K；并支持对全范围的高精度实时渲染，以及城市级编辑、风格化转换等功能。据工作人员透露，未来，书生·天际的建模范围和功能还将进行扩展，“书生·天际的算法、算子和系统也会全部进行开源。”

全球首个城市级NeRF实景三维大模型——书生·天际。

实景三维是对一定范围内人类生产、生活和生态空间进行真实、立体、时序化反映和表达的数字空间。

书生·天际集算法、算子、计算系统为一体，在模型层面提出一种新的实景三维模型表征和训练范式，在高效训练的同时，可以准确表征大规模三维城市场景，并且达到高质量的神经渲染效果。书生·天际在高精度建模、高精度渲染、功能可扩展性、训练交互一体化四个方面取得领先。

大模型的研发是必须啃下的“硬骨头”，但如何为科研创新提供支持，为产业应用赋能，与学术界、产业界合作共建生态，才是大模型落地的关键所在。

封面新闻记者在会上获悉，目前，书生大模型已助力自动驾驶、智慧医疗、地球科学等多个产业和领域推动智能化进程。

“在自动驾驶方面，上海AI实验室联合团队的研究成果《Planning-oriented Autonomous Driving》（以路径规划为导向的自动驾驶）摘取CVPR最佳论文奖，首次提出感知决策一体化的自动驾驶通用大模型UniAD，使自动驾驶更智能。”

此外，据林达华教授介绍，在智慧医疗方面，上海AI实验室牵头推出了全球首个医疗多模态基础模型群“OpenMEDLab浦医”，为人工智能大模型在医疗领域的快速发展、高效落地提供了坚实的基础。

“还有地球科学，全球中期天气预报大模型“风乌”首次实现气象有效预报时间首破10天，同时“风乌”仅需30秒即可生成未来10天全球高精度预报结果，在效率上大幅优于传统模型。”