阿里云宣布开源通义千问14B模型

云合
2023-09-25 15:17

9月25日消息,阿里云开源通义千问140亿参数模型Qwen-14B及其对话模型Qwen-14B-Chat,免费可商用。Qwen-14B在多个权威评测中超越同等规模模型,部分指标甚至接近Llama2-70B。阿里云此前开源了70亿参数模型Qwen-7B等,一个多月下载量破100万,成为开源社区的口碑之作。

format-jpg

截自微博

Qwen-14B是一款支持多种语言的高性能开源模型,相比同类模型使用了更多的高质量数据,整体训练数据超过3万亿Token,使得模型具备更强大的推理、认知、规划和记忆能力。Qwen-14B最大支持8k的上下文窗口长度。

format-jpg

Qwen-14B在十二个权威测评中全方位超越同规模SOTA大模型,图源:数科NA,下同

Qwen-14B-Chat是在基座模型上经过精细SFT得到的对话模型。借助基座模型强大性能,Qwen-14B-Chat生成内容的准确度大幅提升,也更符合人类偏好,内容创作上的想象力和丰富度也有显著扩展。

Qwen拥有出色的工具调用能力,能让开发者更快地构建基于Qwen的Agent(智能体)。开发者可用简单指令教会Qwen使用复杂工具,比如使用Code Interpreter工具执行Python代码以进行复杂的数学计算、数据分析、图表绘制等;还能开发具有多文档问答、长文写作等能力的“高级数字助理”。

百亿以内参数级别大语言模型是目前开发者进行应用开发和迭代的主流选择, Qwen-14B进一步提高了小尺寸模型的性能上限,从众多同尺寸模型中冲出重围,在MMLU、C-Eval、GSM8K、MATH、GaoKao-Bench等12个权威测评中取得最优成绩,超越所有测评中的SOTA(State-Of-The-Art)大模型,也全面超越Llama-2-13B,比起Llama 2的34B、70B模型也并不逊色。与此同时,Qwen-7B也全新升级,核心指标最高提升22.5%。

format-jpg

Qwen-14B性能超越同尺寸模型

用户可从魔搭社区直接下载模型,也可通过阿里云灵积平台访问和调用Qwen-14B和Qwen-14B-Chat。阿里云为用户提供包括模型训练、推理、部署、精调等在内的全方位服务。

8月,阿里云开源通义千问70亿参数基座模型Qwen-7B,先后冲上HuggingFace、Github的trending榜单。短短一个多月,累计下载量突破100万。开源社区出现了50多个基于Qwen的模型,社区多个知名的工具和框架都集成了Qwen。

format-jpg

通义千问是落地最深、应用最广的中国大模型,国内已有多个月活过亿的应用接入通义千问,大量中小企业、科研机构和个人开发者都在基于通义千问开发专属大模型或应用产品,如阿里系的淘宝、钉钉、未来精灵,以及外部的科研机构、创业企业。

浙江大学联合高等教育出版社基于Qwen-7B开发了智海-三乐教育垂直大模型,已在全国12所高校应用,可提供智能问答、试题生成、学习导航、教学评估等能力,模型已在阿里云灵积平台对外提供服务,一行代码即可调用;浙江有鹿机器人科技有限公司在路面清洁机器人中集成了Qwen-7B,使机器人能以自然语言与用户进行实时交互,理解用户提出的需求,将用户的高层指令进行分析和拆解,做高层的逻辑分析和任务规划,完成清洁任务。

阿里云CTO周靖人表示,阿里云将持续拥抱开源开放,推动中国大模型生态建设。阿里云笃信开源开放的力量,率先开源自研大模型,希望让大模型技术更快触达中小企业和个人开发者。

阿里云还牵头建设了中国最大的AI模型开源社区魔搭ModelScope,团结全行业的力量,共同推动大模型技术普惠和应用落地。过去两个月内,魔搭社区的模型下载量从4500万飙升到8500万,增幅接近100%。

1、该内容为作者独立观点,不代表观点或立场,文章为作者本人上传,版权归原作者所有,未经允许不得转载。
2、平台仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。
3、如对本稿件有异议或投诉,请联系:info@dsb.cn
相关阅读
12月1日消息,在通义发布会上,阿里开源通义720亿参数模型Qwen-72B、18亿参数模型Qwen-1.8B及音频大模型Qwen-Audio。据悉,阿里本次开源的模型中除预训练模型外,还同步推出了对应的对话模型,面向72B、1.8B对话模型提供了4bit/8bit量化版模型,便于开发者们推理训练。
8月3日消息,据36氪,阿里今日开源通义70亿参数模型,包括通用模型Qwen-7B和对话模型Qwen-7B-Chat,两款模型均已上线魔搭社区,开源、免费、可商用。此举让阿里成为国内首个加入大模型开源行列的大型科技企业。
阿里CTO周靖人今天宣布阿里开源通义720亿参数模型Qwen-72B。
8月25日消息,阿里今日推出大规模视觉语言模型Qwen-VL,并对其直接开源。Qwen-VL以通义70亿参数模型Qwen-7B为基座语言模型研发,支持图文输入。相较于此前的VL模型,Qwen-VL除了具备基本的图文识别、描述、问答及对话能力之外,还新增了视觉定位、图像中文字理解等能力,可用于知识问答、图像标题生成、图像问答、文档问答、细粒度视觉定位等场景。
4月7日消息,阿里通义开源320亿参数模型Qwen1.5-32B。通义此前已开源5亿、18亿、40亿、70亿、140亿和720亿参数6款大语言模型。此次开源的320亿参数模型,将在性能、效率和内存占用之间实现更理想的平衡,其希望32B开源模型能为企业和开发者提供更高性价比的模型选择。
阿里官方宣布,通义大模型商业化模型与开源模型降价。
12月8日消息,全球最大的开源大模型社区HuggingFace日前公布了最新的开源大模型排行榜,阿里通义登顶榜首。据了解,HuggingFace的开源大模型排行榜收录了全球上百个开源大模型,测试维度涵盖阅读理解、逻辑推理、数学计算、事实问答等六大评测。
12月22日消息,国内首个官方“大模型标准符合性评测”结果公布,阿里通义大模型成为首批通过评测的四款国产大模型之一,在通用性、智能性等维度均达到国家相关标准要求。本次通过评测的首批大模型中,通义是唯一的开源模型。据介绍,“大模型标准符合性评测”由中国电子技术标准化研究院发起,旨在建立中国大模型标准符合性名录,引领人工智能产业健康有序发展。
12月12日消息,中国权威的大模型评测平台OpenCompass日前更新了榜单,阿里通义72B模型登上开源基座大模型榜首。OpenCompass是上海人工智能实验室开源的大模型评测平台,涵盖学科、语言、知识、理解、推理等五大评测维度,可全面评估大模型能力。此前,通义还曾力压Llama2登顶全球最具权威性的HuggingFace开源大模型排行榜。
    Baidu
    map