马斯克发布Grok-1.5V！xAI首款多模态大模型，能看图写代码、算热量
封面图
一个月内，马斯克连发三个大模型大招。
作者 |ZeR0
编辑 |漠影
智东西4月13日消息，刚刚，马斯克的大模型创企xAI推出了其首款多模态大模型Grok-1.5V。
这是OpenAI的大语言模型劲敌之一。如今，除了文本功能外，Grok现在还可以处理各种各样的视觉信息，包括文档、图表、图表、屏幕截图、照片，并能进行多学科推理。
xAI重点展示了Grok-1.5V的7个示例，包括：将手绘图表转换成Python代码、看食品标签计算卡路里、根据孩子的绘画讲个睡前故事、解释梗图、将表格转换成csv格式、为生活日常问题答疑解惑、解决代码问题。
至此，xAI正式加入前沿多模态大模型的竞赛。
与GPT-4V、Claude 3 Sonnet、Claude 3 Opus、Gemini Pro 1.5相比，Grok-1.5V的表现不相上下，在一些基准测试中略胜一筹。
相关数据
尤其是在RealWorld，用于衡量真实世界空间理解能力的QA基准测试中，Grok明显优于同类模型。xAI团队对Grok理解物理世界的能力感到特别兴奋。对于上面的数据集，该团队在没有思维链提示的情况下在零样本设置中评估Grok。
xAI宣布向社区发布RealWorldQA基准测试，计划随着其多模态模型的改进而扩展它。RealWorldQA在CC BY-ND 4.0下发布，数据集大小为677MB。
初版RealWorldQA由700多张图片组成，每张图片都有一个问题和易于验证的答案。该数据集包括从汽车上拍摄的匿名图像，以及其他真实世界的图像。xAI放出了4个示例，其中有两张图都是由汽车前置摄像头拍摄的。
xAI放出了4个示例，其中有两张图都是由汽车前置摄像头拍摄的。
数据集地址：
https://creativecom mons.org/licenses/by-nd/4.0/?ref=chooser-v1
自2023年11月推出聊天机器人Grok以来，马斯克xAI一直在追赶OpenAI的步伐。在刚刚过去的1个月内，xAI相继宣布将Grok-1开源、推出128k长文本Grok-1.5、推出Grok-1.5V多模态大模型三项重要进展。
Grok-1.5V将很快提供给其早期测试者和现有的Grok用户。
xAI展示了Grok-1.5V的7个示例：
1、看图表草图，写代码
当用户拿一张手绘的流程图，问Grok能否将其转换成Python代码。
相关演示
Grok回复：
“当然！您提供的流程图描述了一个简单的猜谜游戏，其中计算机生成一个随机数，用户必须猜测它。下面是表示流程图中逻辑的Python代码：”
相关演示
“这段代码将运行流程图中描述的猜谜游戏。用户将被提示输入他们的猜测，直到他们猜对了数字。”
2、计算卡路里
用户问：“5片这个有多少卡路里？”
卡路里计算
Grok回复：
“如果一份是3片，含有60卡路里，那么5片就含有大约100卡路里。这是通过首先确定每片的卡路里来计算的：60卡路里/3片=每片20卡路里。然后，将每片的卡路里乘以片数：每片20卡路里*5片= 100卡路里。”
3、根据绘画讲一个睡前故事
相关绘画
根据上图，Grok讲出这样一个睡前故事：
相关故事
“很久很久以前，在一片充满冒险和奇迹的土地上，有一个勇敢的小男孩，名叫蒂米。蒂米和他的家人住在一个舒适的小房子里，他最喜欢的就是探索周围的世界。
在一个阳光明媚的日子，蒂米决定去附近的森林探险。他带上了他最喜欢的零食、一个指南针，还有他那本可靠的笔记本，用来画下他将要看到的所有令人兴奋的事情。
当蒂米向森林深处冒险时，他发现了一条在阳光下闪闪发光的神奇河流。这条河是如此迷人，以至于蒂米决定造一艘小纸船，作为对森林精灵的特殊信息，顺流而下。
蒂米小心翼翼地折起他的纸船，在上面画了一个笑脸，给森林精灵带来欢乐。然后，他把船放在河上，看着它漂走，带着他的友谊和对自然的爱的信息。
当太阳开始下山时，蒂米知道是时候回家了。他很感激在森林里度过的神奇的一天，他知道他会永远把这次冒险的记忆记在心里。
回到家，蒂米把他的故事告诉了他的家人，他们很高兴听到他在森林里神奇的一天。他们都认为提米的勇敢和善良的精神是一个真正的鼓舞，他们知道他将继续有更多的奇妙的冒险在未来。
于是，带着一颗充满爱的心和一个充满梦想的头脑，蒂米慢慢地睡着了，渴望发现在他想象的世界里有什么新的冒险在等着他。”
4、解释一个梗图
解释梗图
给Grok上面这张梗图，它也能“秒懂”：
相关解释
“这张图片是对初创公司和大公司的幽默比较。在左边标有‘初创公司’的地方，有一群人在一起挖洞。他们都在积极参与，这个洞已经相当深了。
在右边标有‘大公司’的地方，有一群人站在一个洞周围。然而，与创业方不同的是，实际上只有一个人在挖洞，而其他人则在观看或从事其他活动。
这幅图中的幽默来自于对初创公司和大公司之间差异的夸大。在创业公司，通常有一种紧迫感，每个人都被期望直接为手头的任务做出贡献。相比之下，大公司通常被描述为有更多的官僚主义，并且每个项目中所有团队成员的直接参与较少。”
5、将表格转换成csv
用户可以要求Grok将这张表格转换成csv。
表格转换
Grok随即输出以纯文本格式显示的CSV。
相关截图
6、帮忙清理甲板上的烂木头
Grok也能用于解决生活日常问题。当用户发送一张照片，询问：“这些洞出现在我甲板上的螺丝周围。它烂了吗？我应该换电路板吗？”
清理烂木头
Grok回复说：
“看来你甲板上的木头已经开始腐烂了。螺丝周围有洞表明了这一点，这是木头腐烂的常见迹象。
为确保甲板的安全和使用寿命，建议更换受影响的甲板。这将有助于防止甲板进一步受损，并保持其结构完整性。
如果您不确定如何继续更换板，咨询专业的甲板建造商或承包商可能会有所帮助。他们将能够评估损坏的程度，并为您的甲板提供最佳行动方案的专家建议。”
7、解决代码问题
相关截图
让Grok写Python代码解决上面的问题，Grok的输出如下：
相关截图
xAI团队认为，推进其多模态理解和生成能力是构建能够理解宇宙的有益AGI的重要步骤。在接下来的几个月里，xAI预计将在图像、音频、视频等各种模态上对这两种功能进行重大改进。
同时，xAI还贴出招聘链接，邀请更多设计师、工程师、产品、数据、Infra、AI导师加入。
相关截图
值得一提的是，LLaVA一作、美国威斯康星大学麦迪逊分校博士柳昊天今日宣布加入xAI团队：“我很高兴和一个小而专注的团队一起工作，看看我们能有多快！这仅仅是个开始。”
相关截图
LLaVA是第一个在图像理解和推理方面具有类似GPT-4V级别能力的开源大模型。结合AI Agent，柳昊天联合清华大学的刘世隆等人去年11月又提出了LLaVA-Plus，使用插件（视觉工具）提升多模态大语言模型的视觉能力。
LLaVA-Plus一作、清华大学计算机系博士生刘世隆将出席下周五（4月19日）在北京举行的2024中国生成式AI大会并分享观点。
（本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。）
本文地址：https://www.cknow.cn/archives/64986
以上内容源自互联网，由百科助手整理汇总，其目的在于收集传播生活技巧，行业技能，本网站不对其真实性、可靠性承担任何法律责任。特此声明！
如发现本站文章存在版权问题，烦请提供版权疑问、侵权链接、联系方式等信息发邮件至candieraddenipc92@gmail.com，我们将及时沟通与处理。
相关推荐
-
三战下沉，猛推奥莱，盒马冲击上市稳了吗？
对经常逛盒马鲜生、盒马X会员店的人来说，走进盒马奥莱，完全是另外一个世界。盒马日日鲜品牌的肉蛋菜奶，贴上4折至6折不等的价格售卖，一些盒马工坊的糕点、凉拌菜、熟食，则是在保质期的前…
-
AI狂热：新“脑谷”崛起，独角兽连夜诞生，投资人试图复刻下个OpenAI
“最近对于AI项目，我们老板现在下的指令就是宁可错杀三千，不可放过一个。”投资人Lucas对硅星人说道。近几个月来，为了接触更多有关生成式AI的前沿技术和优秀项目，他频繁往来于中国…
-
顶级家办是如何搭建组织架构的？
如今，美国的家族办公室已拥有上百年的历史。1838年，摩根家族办公室成立，出现了严格意义上的第一个只为一个家族服务的单一家族办公室。1882年，洛克菲勒成立了洛克菲勒家族办公室。 …
-
特斯拉还得继续降
“汽车订单仍然超过产量。”北京时间4月20日凌晨，特斯拉CEO埃隆·马斯克在2023年第一季度财报电话会上重申，特斯拉不存在需求问题。 今年前三个月，尽管特斯拉再次刷新了其季度交付…
-
海康背后的男人，搞出了他的第9个IPO
海康威视丰收季来了。 近日，海康威视分拆子公司海康机器向创业板递交IPO申请已获深交所受理，这是继去年年底萤石网络成功登陆科创板之后，分拆出的第二家冲刺IPO的企业，如能顺利上市，…
-
港股暖春，IPO市场迎盛夏？
熬过凛冬，港股市场迎来“暖春行情”。 截至2024年一季度末，港股三大指数自1月低点反弹均超10%。在流动性改善、经济企稳等多因素影响下，2024年港股有望打一场“翻身仗”，逐步回…
-
元宇宙凉凉？这家游戏公司刚获1.38亿融资
“元宇宙的开拓者”是我们针对元宇宙的发展而设立的专栏，主要面向那些深挖元宇宙产业或者在元宇宙进行“淘金”的从业者，分享这些企业或者创业者们的故事，以独特的视角窥见那些引领全球元宇宙…
-
从富二代到大资本，电竞市场里的N个“Uzi”
近日，LPL（英雄联盟职业联赛）006号选手简自豪（ID：Uzi）二度复出，以自由人身份加盟EDG，且在首场比赛中帮助战队以2比1取胜，结束了队伍的三连败。 作为LPL的代表人物，…
-
小度要造手机，为啥还有厂商要跳这个坑？
如今，全球手机市场的全面衰退早已不再是新闻，活下来、熬过去、坚持住、等风来，也俨然已经成为了各大手机厂商的头等大事。如果说十年前的手机市场还是流淌着奶和蜜的迦南之地，那么当下这个赛…
-
谷歌摸着ChatGPT过河：没了热度，传统搜索引擎还是吊打LLM
ChatGPT来势汹汹，谷歌进退维谷？恰恰相反，有人认为，微软是在用ChatGPT帮谷歌探路。 现在，越来越多的人有这样的感觉：ChatGPT或许会「杀死」谷歌。 微软已经凭Cha…
-
大模型疑造假，伪AI商汤？
本意是吹牛皮的产品展示，却让商汤站到悬崖边缘。 4月10日，商汤在技术交流日推介大模型体系——“日日新”。不过，随后市场焦点并不在该公司的AI技术，而是落在其“造假”风波。 有网友…
-
AI正在改写互联网，也在改变「生产力」
不久前，iOS 上一个第三方 ChatGPT 客户端「OpenCat」支持了键盘扩展，用户可以在任意 App 中使用 ChatGPT 的回答进行快速的输入。新特性上线后，用户就在不…