书生・浦语2.0

商汤科技与上海 AI 实验室联合香港中文大学和复旦大学今日发布了新一代大语言模型书生・浦语 2.0（InternLM2）。

InternLM2 是在 2.6 万亿 token 的语料上训练得到的。沿袭第一代书生・浦语（InternLM）设定，InternLM2 包含 7B 及 20B 两种参数规格及基座、对话等版本，继续开源，提供免费商用授权。

第二代浦语模型， InternLM2 包含 7B 和 20B 两个量级的模型。为了方便用户使用和研究，每个量级的模型我们总共开源了四个版本的模型，他们分别是

• internlm2-base: 高质量和具有很强可塑性的模型基座，是模型进行深度领域适配的高质量起点；
• internlm2（推荐）: 在internlm2-base基础上，在多个能力方向进行了强化，在评测中成绩优异，同时保持了很好的通用语言能力，是我们推荐的在大部分应用中考虑选用的优秀基座；
• internlm2-sft：在Base基础上，进行有监督的人类对齐训练；
• internlm2-chat（推荐）：在internlm2-sft基础上，经过RLHF，面向对话交互进行了优化，具有很好的指令遵循、共情聊天和调用工具等的能力。

InternLM2 的基础模型具备以下的技术特点

• 有效支持20万字超长上下文：模型在20万字长输入中几乎完美地实现长文“大海捞针”，而且在 LongBench 和 L-Eval 等长文任务中的表现也达到开源模型中的领先水平。
• 综合性能全面提升：各能力维度相比上一代模型全面进步，在推理、数学、代码等方面的能力提升显著。

开源地址：

Github：
https://github.com/InternLM/InternLM

HuggingFace：
https://huggingface.co/internlm

ModelScope：
https://modelscope.cn/organization/Shanghai_AI_Laboratory