乾元BigBangTransformer

乾元BigBangTransformer

BBT-2-12B-Text基于中文700亿tokens进行预训练,经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文 2000亿tokens进行预训练。

标签: AI语言模型

浏览(332) 点赞(0) 收藏(0) 反馈 访问工具

BigBang Transformer[乾元]是基于GPT Decoder-only架构的大规模预训练模型。继2022年开源BBT-1-0.2B模型之后,我们正式开源最新系列的BBT模型:BBT-1-1B,BBT-2-12B-Text,BBT-2.5-13B-Text。预训练语料库覆盖14个高质量数据源,覆盖书籍、百科、论文、小说、新闻、政策文件、中文博客、社交媒体等多个数据源种类。BBT-2-12B-Text基于中文700亿tokens进行预训练,经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文 2000亿tokens进行预训练。
模型开源后所有开发者可以:
1. 可以直接调用大模型进行对话
2. 在我们训练的基础上使用自由语料库继续训练
3. 对大模型进行微调训练以满足各种下游任务

类似的工具

其他人也看的工具

小门道

一站式图片创作AI站点,包括不限于图片创作、高清放大、魔法背景、自动提示词优化

北京通用人工智能研究院

实现具有自主的感知、认知、决策、学习、执行和社会协作能力,符合人类情感、伦理与道德观念的通用智能体。

东南大学人工智能学院

人工智能学院在人工智能领域的科研和人才培养方面有较好的基础,拥有一支年轻的高水平研究队伍,主要研究方向包括机器学习、知识表示与推理、计算机视觉、自然语言处理、多智能体、图像处理、科学可视化等。

吉林大学人工智能学院

为了抢抓人工智能发展机遇、对标国家战略需求、推动产业转型升级和地方经济发展转型,吉林大学人工智能学院于2018年5月26日成立。人工智能学院的成立旨在贯彻落实《新一代人工智能发展规划》《高等学校人工智能创新行动计划》,瞄准世界科技前沿,抢占人工智能制高点,提升人工智能领域科技创新、人才培养和服务国家战略需求的能力。

AIGC工具导航

生成式AI导航-全品类AI工具集合平台!

智源社区

智源社区是互联网上没有围墙的人工智能实验室,我们正围绕关键学科与应用领域,建立紧密协作的学术共同体,构筑开放研究平台与协作工具,加速新线索发现、假设提出、提案产生。以创新的组织方式,打通学术研究、创业孵化、企业研发创新链,推动新概念产生与跨学科合作,并在这个过程中,培养出新一代问题的发现者和解决者。


0条评论
提倡鼓励AI创业者,一个产品需经历无数次失败才能成品。
评论

游客
登录后再评论
  • 赠人玫瑰,手有余香。
  • 和谐社区,和谐点评。