会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 腾讯发布开源MoE大语言模型Hunyuan!

腾讯发布开源MoE大语言模型Hunyuan

时间:2024-12-26 05:11:56 来源:童颜鹤发网 作者:探索 阅读:474次

11月5日消息,腾讯腾讯今日宣布推出业界参数规模最大、发布效果最好的开源开源MoE大语言模型Hunyuan-Large。

Huanyuan-large模型的模型总参数量为389B、激活参数为52B、腾讯训练token数量为7T、发布最大上下文长度为256K、开源词表大小为12.8w。模型

腾讯发布开源MoE大语言模型Hunyuan

在技术创新方面,腾讯Hunyuan-large通过高质量的发布合成数据来增强模型训练,弥补了自然数据的开源不足。

其中,模型该模型预训练支持处理高达256K的腾讯文本序列,大幅提升了长文本上下文的发布处理能力,能够更高效地完成长文本任务。开源

据了解,Hunyuan-large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上表现优异,在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先,超越了Llama3.1和Mixtral等一流开源模型。

此外,腾讯还宣布将推出自研的长文评测集“企鹅卷轴(PenguinScrolls)”,以填补行业在真实长文评测集上的空白。

企鹅卷轴基于公开的金融、法律、学术论文等长文本构建,文本长度从1K到128K不等,覆盖深度阅读理解和长文推理任务。

(责任编辑:休闲)

相关内容
  • 率先发力!克内克特分别接詹、眉助攻飙中三分
  • 小米SU7 Ultra标配激光雷达 官方:智驾不可或缺
  • 麦卡利斯特:赛程繁忙时最重要的是恢复 我们达到了预期水平
  • 纳尼:希望阿莫林在曼联好运,在那里取得在葡体一样的成功
  • 你可是中锋啊!武切维奇20次出手仅拿19分外加11板4助 正负值
  • 伯恩茅斯主帅:阿莫林在布拉加和葡体取得成功,有执教曼联的水平
  • 世体:巴萨将为西班牙洪灾受灾民众提供援助,正寻求支援的途径
  • 《怪物猎人:荒野》第五弹PV公布 11月1日举行公测
推荐内容
  • 今天是神投手!斯玛特半场三分6中4轰16分5助2断 正负值高达+26!
  • 确认带葡体教练组一同赴任!阿莫林:这是我执教曼联的条件之一
  • 沪媒:海港、申花夺冠概率六、四开,考验两队阵容的完整性
  • 张艺谋称赞《黑神话》剧本非常好 关键是讲好中国故事
  • 赖因德斯:我们没能踢出想要的比赛,虽然很失望但必须向前看
  • 快凑齐主力阵了!德转列曼城伤员身价榜:罗德里、德布劳内领衔