BigBang Transformer[乾元]是基于GPT Decoder-only架构的大规模预训练模型。继2022年开源BBT-1-0.2B模型之后,我们正式开源最新系列的BBT模型:BBT-1-1B,BBT-2-12B-Text,BBT-2.5-13B-Text。预训练语料库覆盖14个高质量数据源,覆盖书籍、百科、论文、小说、新闻、政策文件、中文博客、社交媒体等多个数据源种类。BBT-2-12B-Text基于中文700亿tokens进行预训练,经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文 2000亿tokens进行预训练。
模型开源后所有开发者可以:
1. 可以直接调用大模型进行对话
2. 在我们训练的基础上使用自由语料库继续训练
3. 对大模型进行微调训练以满足各种下游任务
类似的工具
xAI Grok
使用xai的大型语言模型(LLM)进行聊天
零一万物-官网01.ai
以 Project AI2.0 之名入局大模型
KwaiYii快意大模型
独立自主研发的一系列大规模语言模型
TigerBot
以世界级的基础大模型,贡献于中国式的创新。
CodeFuse
蚂蚁自研智能研发助手
轩辕大模型
国内首个开源的千亿级中文对话大模型
他人最近看的工具
孟子预训练模型
快速满足不同领域、不同应用场景的需求。
一键抠图
一键抠图换背景,专业的快速抠图软件
云间-照片换脸
将两张图片上的人脸一键切换
Audiocraft/MusicGen
一个简单而可控的音乐生成LM,具有文本和旋律调节。
中国中文信息学会
中国科学技术协会接纳的科学技术工作者的学术性群众团体,是具有独立社团法人资格的国家一级学会。
Moonbeam
Moonbeam的人工智能将为你提...
AI 中文社
