腾讯混元大模型批量上新:10秒生成AI图像,超过180个腾讯业务接入 | 最前线

揭开大模型“混元”的面纱两个月后,10月26日,腾讯混元迎来第一次“批量上新”,并且对外开放。

首先,通过测试申请的用户,都能够在“混元”上画画了——从生成图像的准确度、美观度而言,如今混元搭载的“灵感”模块,已经能生成相当合理、逼真的图像。

文生图是AIGC领域的核心技术之一,也是体现通用大模型能力的试金石,对模型算法、训练平台、算力设施都有较高的要求。在用户侧,这又是一个和广大用户联系紧密的应用入口。

智能涌现尝试用简单的指令让混元画图,生成速度基本在10秒左右,效果可以说风格各异,细节比此前更为丰富。

腾讯混元大模型批量上新:10秒生成AI图像,超过180个腾讯业务接入 | 最前线

来源:混元助手

如果指令更复杂一点呢?

手部细节是可以说是文生图的一个难点。但在输入弹奏古筝的指令后,如图所见,手部细节可以说比较逼真,没有出现多指、扭曲等问题。

腾讯混元大模型批量上新:10秒生成AI图像,超过180个腾讯业务接入 | 最前线

来源:混元助手

文生图能力升级:不仅要美,更重要的是“对”

这两个月,混元在文生图领域的技术研发目标,用一句话可以总结:“AI图像不仅要美,更重要是的是‘对’。”腾讯混元大模型文生图技术负责人芦清林表示。

首先要把用户的指令理解对。在大模型的指令上,混元如今对中文里的意象理解也有所进步,采用了中英文双语细粒度的模型,同时建模中英文进行双语理解。比如,输入“轻舟已过万重山,水墨画风格”,就可以得到下面的图片:

腾讯混元大模型批量上新:10秒生成AI图像,超过180个腾讯业务接入 | 最前线

来源:混元

能画得更“对”,也来源于腾讯在训练过程中的一些算法创新。

“在人像上的生成合理性上,我们把人物区分成肢体和手的数据,以及人体的骨架信息都加入到训练中,而手指头生成的局部情况也用了多种形式控制,这样畸形率会比较低。”腾讯混元大模型文生图技术负责人芦清林表示。

而画面细节的提升,来自多种因素的总和,比如人物衣服褶皱、色彩层粗等等——混元用多模型融合的方式,来对其进行提高。

以前,文生图产品用的常规扩散模型是基于CNN等技术架构,特点是比较局部,对整体的结构和刻画能力没有那么强。但现在,混元是基于扩散模型和Transformer架构相结合,可以刻画更多细节,而且对空间位置的定位能力也有加强。

“目前在人像的优化上,比如头发、皱纹,我们的效果提升了30%,在场景模型,比如草木、波纹,效果提升25%。”芦清林估算。

超过180个腾讯业务接入,为广告提效显著

除了千亿参数的主模型,腾讯混元此次也释出了7B、13B等中小模型,主要面向垂直业务。

腾讯机器学习平台负责人康战辉表示,目前千亿级别的混元模型训练,涉及了超过了2.5T的数据。而最近一个多月,混元大模型能力提升比较大的在代码能力以及数据推理,效果较此前有20%的提升。并且,对话上下文窗口,也从原来的4K,中小模型可以长至16K。

而第三季度,可以说是国内大模型领域的关键节点——包括百度、讯飞在内的各家厂商都不约而同地汇报对标GPT-3.5的进展。

在这个层面,腾讯表示,如今混元的千亿级主模型,中文效果整体超过GPT3.5,而7B/13B中小模型实测效果整体优于国内外开源模型,如LLaMA2等。

康战辉尤其指出了压缩比这一参数——同等效果下,混元仅需较少的tokens,训练效率更高。如今,基于,基于探真技术,混元大模型的幻觉率也下降了30%-50%。

而基于这些模型,大模型接入业务的形式既有API接入,也有基于混元进行精调后再部署。

在9月刚发布时,腾讯只有约60个业务接入,但两个月之后,这个数字变成了180个。

腾讯内部各种类型的业务,可以看作大模型落地的切面。

腾讯机器学习平台负责人康战辉表示,其中60多个业务是基于混元做精调,比如腾讯会议、腾讯文档、企业微信、腾讯广告等。

而能落地的功能也越来也多。比如最近,QQ浏览器就基于腾讯混元推出了“PDF阅读助手”,具备智能摘要、智能问答和多轮提问等功能。

可以看出,大模型落地已经到了一个新阶段。业内对大模型落地的讨论,也已经从参数量,进一步到更具体的模型选型——用大模型还是小模型?如何更切实地降低模型应用成本?

康战辉介绍,当前腾讯内部业务的应用很多还是以效果为主。但每个业务都会根据自己的实际情况和场景,来选择合适模型。“比如广告肯定要兼顾成本,这是很复杂、务实的选择。”

目前,已有来自零售、教育、金融、医疗、传媒、交通、政务等多个行业的客户,通过腾讯云调用腾讯混元大模型API,应用领域涉及智能问答、内容创作、数据分析、代码助手等多个场景。这些业务里,既有使用千亿模型,也有采用小模型,或者混合模型模式。

其中,腾讯广告既是腾讯的核心业务之一,在大模型应用上也是走在前列的业务。

最早,腾讯就在广告场景进行AI自动生成图像的探索,如今腾讯混元的文生图在人像真实感、场景真实感上有比较明显的优势。

“对包括传统广告的素材、创意生成、广告链路推荐等等,如今我们也能用混元来进行生成。”康战辉说。

而通过实测数据不断迭代,相较Midjourney等文生图的标杆模型,混元对广告业务的提升已经有明显优势。“经过几个月的攻坚,我们比MJ在广告场景的应用明显好一些,评测的goodcase率要比MJ高10个点左右,广告主测评采纳率混元比MJ高48%。”康战辉透露。

另外,混元代码、数学能力大幅提升后,当前也已经能在软件研发、学习等环节提供更多帮助。当前,腾讯混元代码处理水平提升超过20%,代码处理效果在实测中高于ChatGPT 6.34%,在HumanEval公开测试集指标上超过Starcoder、Codellama等业界头部开源代码大模型。

只需输入简单的指令如“帮我用前端语言实现一个贪吃蛇”,腾讯混元便能自动生成可运行的代码,快速制作出一个贪吃蛇小游戏。

腾讯混元大模型批量上新:10秒生成AI图像,超过180个腾讯业务接入 | 最前线

来源:腾讯

此外,腾讯混元还支持Python、C++、Java、Javascript等多种语言的指令生成,比如输入“用Python画红色的心形线”,腾讯混元也会提供代码库选择、安装命令、绘制代码等具体操作步骤的指引。

目前,腾讯内部已经有多个开发平台接入了腾讯混元大模型,工程师们可以使用腾讯混元来进行代码生成、代码补全、代码漏洞检测和修复、表格数据处理、数据库查询等工作。

本文地址:https://www.cknow.cn/archives/63116

以上内容源自互联网,由百科助手整理汇总,其目的在于收集传播生活技巧,行业技能,本网站不对其真实性、可靠性承担任何法律责任。特此声明!

如发现本站文章存在版权问题,烦请提供版权疑问、侵权链接、联系方式等信息发邮件至candieraddenipc92@gmail.com,我们将及时沟通与处理。