xAI 工程师花三天就改写 Grok-2 物理堆栈,速度大幅提升

on

|

views

and

comments

马斯克旗下 xAI 稍早发表 Grok-2 大型语言模型聊天机器人,推出後持续进步,xAI 两位开发者短短三天就重写推理程式码堆栈,使 Grok-2 和 Grok-2 mini 资讯分析和输出速度大幅提升。

xAI 开发者 Igor Babuschkin 於 X 表示,Grok-2 mini 速度经改良後提高一倍。团队用 SGLang 重写推理堆栈,不只提升速度,还略微提升模型准确性。SGLang 是开源高效系统,执行复杂语言模型程式,性能比现有系统高达 6.4 倍。

第三方 Lmsys Chatbot Arena 排行榜,Grok-2 以 1,293 分位居第二,与 Google Gemini-1.5 Pro 并列,仅次 OpenAI 最新版 ChatGPT-4。Grok-2 mini 也跃升至第五位,得分为 1,268 分。Grok-2 数学任务排第一,硬提示、编码和指令跟随等多类别也表现出色。xAI 团队表示,将继续改进 Grok-2 mini 处理速度,以满足用户对高性能低运算成本的需求。

  • Grok-2 gets a speed bump after developers rewrite code

(本文由 Unwire Pro 授权转载;首图来源:xAI)

openvpn好用吗

热门文章

xAI 工程师花三天就改写 Grok-2 物理堆栈,速度大幅提升

马斯克旗下 xAI 稍早发表 Grok-2 大型语言模型聊天机器人,推出後持续进步,xAI 两位开发者短短三天就重写推理程式码堆栈,使 Grok-2 和 Grok-2 mini 资讯分析和输出速度大幅提升。 xAI 开发者 Igor Babuschkin 於 X 表示,Grok-2 mini 速度经...

AMD豪砸49亿美元买下ZT Systems 专家分析动作频频原因

晶片制造商超微AMD最近可以说是动作频频,近日他们宣布以总价值49亿美元的价格,收购云端运算和AI资料中心设备设计商ZT Systems,希望藉此强化在AI运算方面的实力,挑战辉达NVIDIA的主导地位。微驱科技总经理吴金荣分析认为,AMD此举应是为了强化资料中心的基础设备。

新汉战情室GPT/机器人双管齐下 全力抢攻智慧制造商机

制造业面对美国与欧盟等市场即将强制要求产品的履历与碳足迹,必须尽快导入相应的数据管理系统来因应。同时,智慧制造...

最新文章

相关推荐

0 0 投票数
Article Rating
订阅评论
提醒
guest
0 Comments
最旧
最新 最多投票
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x