百川智能发布超千亿大模型Baichuan 3,中文评测超越GPT-4
三言科技消息 1月29日,百川智能发布超千亿参数的大语言模型Baichuan 3。
Baichuan 3在多个英文评测中,达到接近GPT-4的水平。而在CMMLU、GAOKAO、HumanEval和MBPP等多个中文评测榜单上,超越了GPT-4。
此外,在MT-Bench、IFEval等对齐榜单的评测中,Baichuan 3超越了GPT-3.5、Claude等大模型。
据介绍,超千亿参数模型与百亿、几百亿级别参数模型训练不同,在训练过程中对高质量数据,训练稳定性、训练效率的要求都高出几个量级。百川智能在训练过程中针对性地提出了“动态数据选择”、“重要度保持”以及“异步CheckPoint存储”等多种创新技术手段及方案,有效提升了Baicuan 3的各项能力。