元象开源百亿参数通用大模型 XVERSE-13B
8月7日,元象XVERSE公司宣布开源其百亿参数的高性能通用大模型XVERSE-13B。
XVERSE-13基于标准Transformer结构,在1.4万亿高质量、多样化tokens的训练数据上,从零训练(train from scatch)了130亿参数大模型,支持40多种语言,上下文窗口大小为8192。具有文本生成、自动化写作、数据分析、知识问答、多语言翻译、个性化交互、人物角色扮演、专业小助手等多方面能力。
展开来说,XVERSE-13B在训练预料方面构建了一个高达1.4万亿高质量、多样化tokens的训练数据集,同时优化采样策略和数据组织方式,让模型支持中、英、俄、西等40多种语言,并且多语言任务处理的性能与效果俱佳。
XVERSE-13B支持8192的上下文窗口,是同尺寸模型中最长的,从而能出色应对复杂场景,比如更长的多轮对话、知识问答与摘要等,应用范围更广泛。
模型使用标准Transforme网络结构,从零开始训练,还自主研发多项关键技术,包括高效算子、显存优化、并行调度策略、数据-计算-通信重叠、平台和框架协同等,让训练效率更高,模型稳定性强,在千卡集群上的峰值算力利用率可达到 58.5%,位居业界前列。
元象XVERSE方面表示,XVERSE-13B在多项权威的标准中文和英文测评中表现优异,是目前同尺寸中效果最好的多语言大模型。
在中文 C-Eval 的测评中(图三),XVERSE-13B 综合评分达到了 54.7 分,超越了同参数规模的主流模型。
C-EVAL测评基准由上海交通大学、清华大学以及爱丁堡大学联合创建,是面向中文语言模型的综合考试测试集,覆盖了 52 个来自不同行业领域的学科。
在AGIEval测评里,XVERSE-13B综合评分达到41.4分,超越了同参数规模主流模型。
AGIEval测评基准由微软研究院发起,旨在全面评估基础模型在人类认知和问题解决相关任务上的能力,包含了中国的高考、司法考试,以及美国的 SAT、LSAT、GRE和GMAT等20个公开且严谨的官方入学和职业资格考试。
在GAOKAO-Bench测评中,XVERSE-13B综合评分达到了53.9分,显著领先于同参数规模的主流模型。
GAOKAO-Bench 测评基准是复旦大学研究团队创建的测评框架,以中国高考题目作为数据集,用于测评大模型在中文语言理解和逻辑推理能力方面的表现。
XVERSE-13B英文表现同样出色,在英文最权威评测MMLU中,其综合评分高达55.1分,几乎在所有维度超越了同参数规模的主流模型,包括Llama-2-13B、Baichuan-13B等。
MMLU由加州大学伯克利分校等知名高校共同打造,集合了科学、工程、数学、人文、社会科学等领域的57个科目,主要目标是对模型的英文跨学科专业能力进行深入测评。其内容广泛,从初级水平一直涵盖到高级专业水平。
需要强调的是,测评只反映了大模型底座的核心能力,元象将持续迭代优化,全面提升模型能力。
而XVERSE-13B所体现出的高性能、全开源、可商用等诸多优势,能大大降低高校和企业部署使用大模型的成本,不仅实现了国产可替代,也是中文应用更好的选择。
XVERSE-13B有望在医疗、教育、文旅、金融和娱乐等多个行业具有广阔应用前景,也将为元象自身的元宇宙应用提供强大技术支持。
秉持开源精神,XVERSE-13B代码采用Apache-2.0协议,向学术研究完全开源,企业只需简单登记,即可免费商用。
哈尔滨工业大学(下称“哈工大”)作为我国最早从事自然语言处理研究的顶级科研团队,已经率先使用XVERSE-13B大模型推进相关研究工作。哈工大计算机科学与技术学院张伟男教授表示,“开源是互联网时代主流模式,不仅能贡献社区,推动技术持续创新,还能利用协同解决算法透明性、稳定性、公众信任度等共性问题。”
元象XVERSE于2021年初在深圳成立,是国内领先的AI与元宇宙技术服务公司,致力于打造AI驱动的3D 内容生产与消费一站式平台,愿景为“定义你的世界”。
2022年3月,公司完成A与A+轮融资1.2亿美元,投资机构包括腾讯、高榕资本、五源资本、高瓴创投、红杉中国、淡马锡和CPE源峰等。元象创始人姚星是前腾讯副总裁、前腾讯AI Lab创始人、国家科技部新一代人工智能战略咨询委员会成员。
元象XVERSE创始人姚星表示:“线D),与真实世界的认知智能(AI),是探索通用人工智能(AGI)的必由之路,也是元象持续探索3D与AI前沿技术的动力。XVERSE-13B是我们在国产技术自立自强上迈出的一小步,而开源开放将激发大模型生态活力,让AI的未来发展迈出一大步,为实体经济、数字经济的发展注入强劲动力。我们期待与众多企业与开发者携手,开创大模型商用新纪元。”
您可能感兴趣的文章
- 08-12国家公务员考试网_2023年国考招考公告考试大纲
- 08-122022年北京研究生考试报名考生须知
- 08-122021年法考考试时间-法考客观题考试
- 08-12在职硕士怎么考?看完以后你就明白了!
- 08-12国家公务员考试成绩查询入口官网_国家公务员考录专题网站
- 08-122022全国硕士研究生招生考试报名入口-中国研究生招生信息网
- 08-122021年国家统一法律职业资格考试时间正式通知
- 08-12国家公务员考试网官网-国家公务员官网
- 08-12研招网报名入口(中国教育考研官网入口)
- 08-12四川灾区司法考试现场报名考试延至11月举行
阅读排行
推荐教程
- 05-032023年法考主观真题答案解析已出法考生们快冲!
- 08-12法考各省通过率一样吗
- 04-13司法考试和一级建造师哪个难考?
- 03-062007年国家司法考试(试卷一)
- 06-12最新!会计师事务所综合排名100强公布!前10排名变了!
- 07-03学习强国《挑战答题》题库及参考答案
- 06-25法考一次通过的几率有多大?
- 05-22法考后不想做律师了?法考证书的这些用处你要知道
- 06-232022年法考客观题真题(回忆版)已整理看看你做对了吗?明天考的同学也要看噢!
- 05-21中国裁判文书网访问方式重大变化需手机号验证注册才能查询、下载文书