取消
加载中...
马斯克人工智能xAI公司宣布开源大语言模型Grok-1
DorAemon 2024-03-18 08:11

三言科技3月18日消息,当地时间周日,马斯克旗下人工智能初创企业xAI宣布其大语言模型Grok-1已实现开源,并向公众开放下载。


xAI介绍称,Grok-1是一款基于混合专家系统(Mixture-of-Experts,MoE)技术构建的大语言模型,拥有3140亿参数。近期,公司发布了Grok-1的基本模型权重和网络架构详情。


该公司表示,Grok-1始终由xAI自行训练,其预训练阶段于2023年10月完成。此次发布的是Grok-1预训练阶段结束时的原始基础模型检查点,即该模型未经过针对任何具体应用的微调。

DorAemon
文章总数
11429