乾元BigBangTransformer

乾元BigBangTransformer

BBT-2-12B-Text基于中文700亿tokens进行预训练,经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文 2000亿tokens进行预训练。

标签: AI语言模型

浏览(478) 点赞(0) 收藏(0) 反馈 访问工具

BigBang Transformer[乾元]是基于GPT Decoder-only架构的大规模预训练模型。继2022年开源BBT-1-0.2B模型之后,我们正式开源最新系列的BBT模型:BBT-1-1B,BBT-2-12B-Text,BBT-2.5-13B-Text。预训练语料库覆盖14个高质量数据源,覆盖书籍、百科、论文、小说、新闻、政策文件、中文博客、社交媒体等多个数据源种类。BBT-2-12B-Text基于中文700亿tokens进行预训练,经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文 2000亿tokens进行预训练。
模型开源后所有开发者可以:
1. 可以直接调用大模型进行对话
2. 在我们训练的基础上使用自由语料库继续训练
3. 对大模型进行微调训练以满足各种下游任务

类似的工具

其他人也看的工具

AMiner

清华大学计算机科学与技术系建立

NightCafe Creator

NightCafe Creator 是一款 AI 艺术生成器应用程序,具有多种 AI 艺术生成方法。使用神经风格迁移,您可以将您的照片变成杰作。使用文本到图像的 AI,您可以只根据文本提示创建艺术作品。

WOMBO

新增人工智能创作美丽艺术作品的功能

纽约大学

纽约大学(New York University),简称纽大(NYU),是由时任美国财政部长艾伯特·加勒廷成立于1831年,私立大学。有45000余名学生。纽约大学同时在伦敦、马德里、悉尼、柏林、巴黎等地共设立11个全球学术中心。 美国大学协会成员 ,2023U.S. News美国最佳大学排名第25,2022福布斯美国大学排行榜第60名。

华中科技大学人工智能与自动化学院

华中科技大学人工智能与自动化学院起源于1956年原华中工学院设立的自动控制本科专业,1961年开始招收研究生。1998年首批获控制科学与工程一级学科博士学位授予权,2007年首批成为控制科学与工程一级国家重点学科。学院秉承“积极进取(Ambitious)、锐意创新(Unique)、包容并蓄(Tolerant)、开放交流(Open)”的“AUTO”文化精神,始终以我国国民经济发展和国家安全需求为指引,以培养一流人才和奉献前沿研究成果为己任,以建设人工智能与自动化领域国际一流学科为目标,服务于国家建设和发展。

Findly

在几分钟内获得准确的、可操...


0条评论
提倡鼓励AI创业者,一个产品需经历无数次失败才能成品。
评论

游客
登录后再评论
  • 赠人玫瑰,手有余香。
  • 和谐社区,和谐点评。