BigBang Transformer[乾元]是基于GPT Decoder-only架构的大规模预训练模型。继2022年开源BBT-1-0.2B模型之后,我们正式开源最新系列的BBT模型:BBT-1-1B,BBT-2-12B-Text,BBT-2.5-13B-Text。预训练语料库覆盖14个高质量数据源,覆盖书籍、百科、论文、小说、新闻、政策文件、中文博客、社交媒体等多个数据源种类。BBT-2-12B-Text基于中文700亿tokens进行预训练,经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文 2000亿tokens进行预训练。
模型开源后所有开发者可以:
1. 可以直接调用大模型进行对话
2. 在我们训练的基础上使用自由语料库继续训练
3. 对大模型进行微调训练以满足各种下游任务
类似的工具
书生
定义任意任务和轻量级自适应融合
言犀
人机交互平台,懂业务更懂你
乾元BigBangTransformer
BBT-2-12B-Text基于中文700亿tokens进行预训练,经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文 2000亿tokens进行预训练。
序列猴子开放平台
极大地提高了生产效率和数据处理能力
山海大模型
人类的良师益友,也是灵动强大的智能助理
xAI Grok
使用xai的大型语言模型(LLM)进行聊天
他人最近看的工具
iThinkScene
人人都容易上手的AI写作工具
ChatPPT
AI驱动的全自动智能生成PPT工具软件
Hey Friday
可以写作公文类文书,但无法...
复旦大学人工智能创新与产业 (AI³) 研究院
致力于人工智能前沿基础研究以及人工智能跨学科融合,特别是推动人工智能与物理、化学、生物、医药等自然科学,经济学等社会科学乃至数学相结合的学科边界探索和前瞻性突破
一码千言
写作公文类文书,但无法自定义修改
Smodin
进行AI研究并用5个字撰写您的Paper
AI 中文社
