xAI发布大型语言模型Grok

由埃隆·马斯克创立的AI公司xAI最近发布了大型语言模型Grok。Grok通过X平台访问当前世界知识，并在多个基准测试中表现优于同类规模的其他语言模型，包括GPT-3.5。

Grok的性能和特点

xAI今年早些时候成立，并训练了其第一个模型Grok-0，拥有330亿参数。最新的Grok-1版本虽然未公开具体参数和训练细节，但xAI表示其在多个基准测试中表现优于GPT-3.5和Llama 2，包括数学基准GSM8k和MATH、问答基准MMLU以及编码基准HumanEval。Grok被描述为“带有一点机智和叛逆”，xAI声称它将回答其他语言模型不会回答的问题。

xAI的愿景

xAI团队表示，通过创建和改进Grok，他们旨在收集反馈并确保构建的AI工具能够最大程度地造福全人类。他们希望设计出对所有人都有用的AI工具，并遵守法律。Grok的最终目标是帮助用户快速获取相关信息、处理数据并提出新想法，成为强大的研究助手。

Grok的技术背景

“Grok”一词源自罗伯特·海因莱因的科幻小说《异乡异客》，但xAI表示他们的模型灵感来自道格拉斯·亚当斯的科幻系列《银河系漫游指南》。xAI提到，他们使用JAX、Rust和Kubernetes构建了自定义的机器学习框架用于训练和推理，并且模型训练了两个月。

Grok的实时知识能力

xAI的创始成员Toby Pohlen在X上发布了一系列展示Grok用户界面的视频。Qdrant开源向量数据库的X账户表示，Grok的实时知识能力基于Qdrant构建，并鼓励用户关注未来的博客文章和技术讨论。

外界的反应

对Grok发布的反应褒贬不一。在Reddit上，有用户称赞xAI的努力，认为其在短短两个月内超越Meta的表现令人印象深刻，并指出Grok似乎较少受到审查，这可能推动其他公司效仿。然而，Hacker News的用户则更为怀疑，有人猜测Grok的基准测试得分可能源于在测试集上的训练。

xAI的回应

xAI承认无法排除在测试集上训练的可能性，但他们手动评估了Grok在匈牙利国家高中数学期末考试中的表现，Grok在该考试中表现优于GPT-3.5和Claude 2。对于Grok缺乏审查的担忧，xAI表示他们正在制定“防止恶意使用的保障措施”，并聘请了AI安全中心主任Dan Hendrycks作为顾问。

早期测试和未来展望

Grok的早期测试版目前仅对经过验证的X用户开放。xAI被视为一个严肃的AI公司，预计将在未来几年内成为与OpenAI和Google DeepMind并列的主要AI公司之一。