《时代》周刊日前公布2024年“全球100大最具影响力企业”(TIME100 Most Influential Companies),百度被评为全球领导者,是唯一入选该类别的中国企业。有消息称,文心大模型5.0版本也将于明年发布!
现在对GPT-5的各种预测已经满天飞了,对标着看一下,我觉得文心5.0也可能在这几个方向发力:
1、多模态。sora出来,全球震动。估计文心这次也会补齐多模态功能,实现文本、图像、视频、音频、代码这些形式的互生转换能力。
2、超低延时。毕竟多模态想要用起来,计算成本和延迟都需要降低,否则功能再花哨,用不起、玩不转就都白扯。成本这个百度一直在降,所以超低延时说不定会成为这次主打的点。一旦AI的响应速度加快,应用领域会进一步扩大,使用体验也会爽翻。
3、超大参数。文心4.0就没有公布参数,5.0看看会不会放个大招。
4、MoE架构。这个感觉是李彦宏今年一直在强调的事情,文心4.0的架构不清楚,但GPT-4就采用了MoE架构,实现了低计算成本支持1.8万亿参数规模,据说GPT-5将继续采用,参数量可以达到GPT-4的10-50倍,赌一把,文心5.0说不定就用上了MoE。
多模态现在刚起步,文心肯定会往这个方向赶
参数规模在下一版肯定会扩大,但10倍可不是小数目,不好说