马斯克的大模型Grok,即将推出最新进化版——Grok1.5
而这距离Grok 1 开源仅仅才过去 10 天
美东时间周五,马斯克宣布,xAI公司最新的Grok-1.5将于下周在他的社交媒体平台X上推出
他表示,Grok 2 应该在所有指标上都超过当前的 AI,现在正在训练中
此前一天,xAI宣布Grok-1.5将在未来几天内提供给X上的早期测试人员和现有的Grok用户
据介绍,Grok-1.5 推理能力大升级,支持128k上下文长度
其中最显著的改进之一是推理性能大幅提升。它在编码和数学相关任务中的能力全面超越Grok-1、Mistral Large、Claude2
在测试中,Grok-1.5在数学基准上取得50.6%的得分,在GSM8K基准上获得了90%,这两个数学基准涵盖了从小学到高中的各种竞赛问题
从数据来看,Grok-1.5在GSM8K上提升到90,MATH上上升到50.6%
在评估代码生成和解决问题能力的HumanEval基准测试中,Grok-1.5获得了74.1%的高分,超过了Claude 2的70%、Claude 3 Sonnet的73%、Gemini Pro 1.5的71.9%以及GPT-4的67%
Grok-1.5 的另一个新功能是,能够在其上下文窗口内处理多达 128K token的长上下文
这使得 Grok 的内存容量增加到以前上下文长度的 16 倍,使其能够利用更长的文档中的信息
此外,新模型还可以处理更长、更复杂的提示,同时在其上下文窗口扩展时仍保持其指令跟随能力
在NIAH评估中,Grok-1.5 展示了强大的检索能力,可检索长度达 128K 字节的上下文中的嵌入文本,并取得了完美的检索结果
xAI 表示,Grok-1.5 构建在基于 JAX、Rust 和 Kubernetes 的自定义分布式训练框架之上。该训练堆栈允许开发团队能够以最小的精力,构建想法原型并大规模训练新架构
为挑战OpenAI的ChatGPT,马斯克于去年创立了xAI,并在去年底推出第一版聊天机器人Grok1
本月早些时候,马斯克在起诉OpenAIde 几天后,宣布xAI将开源Grok
xAI 表示,开源版大模型Grok-1是一个拥有 3140 亿个参数混合专家模型,远超OpenAI GPT-3.5的1750亿
这也是,目前参数量最大的开源大语言模型
值得一提的是,距离Grok-1开源不到半个月的时间,马斯克又火速放出进化版Grok-1.5
这搞大模型的速度,马斯克也是出奇的快啊
眼下,AI大模型竞赛逐渐白热化,大家伙儿眼看着都“杀红了眼”
来源:格隆汇
温馨提示:最新动态随时看,请关注 APP
好文章,需要你的鼓励