商业
Meta以自己的大型语言模型加入AI聊天机器人竞赛

  

  

  旧金山:继微软ChatGPT和谷歌的Bard之后,meta也加入了人工智能聊天机器人的竞赛,它拥有自己最先进的基础大型语言模型,旨在帮助研究人员推进他们在人工智能领域的工作。然而,meta的大型语言模型元AI (LLaMA)目前还不像chatgpt驱动的必应,因为它还不能与人类对话,但可以帮助研究人员。

  meta在一份声明中说:“像LLaMA这样更小、性能更好的模型使研究社区中没有大量基础设施的其他人能够研究这些模型,进一步民主化了在这个重要的、快速变化的领域的访问。”

  meta提供了多种尺寸的LLaMA(70亿、130亿、330亿和650亿参数)。大型语言模型——具有数十亿个参数的自然语言处理(NLP)系统——已经显示出生成创造性文本、解决数学定理、预测蛋白质结构、回答阅读理解问题等新的能力。

  “这是人工智能可以为数十亿人提供大规模潜在利益的最明显的例子之一,”meta说。更小的模型训练了更多的标记(单词片段),更容易针对特定的潜在产品用例进行再训练和微调。

  meta已经在1.4万亿代币上训练了LLaMA 650亿和LLaMA 330亿。该公司表示:“我们最小的模型LLaMA 7B使用一万亿代币进行训练。”与其他大型语言模型一样,LLaMA的工作原理是将单词序列作为输入,并预测下一个单词以递归生成文本。

  meta表示:“为了训练我们的模型,我们从使用人数最多的20种语言中选择了一篇文本,重点是使用拉丁语和西里尔字母的语言。”为了保持完整性和防止滥用,该公司表示,目前该模型是在一个专注于研究用例的非商业许可下发布的。

点击分享到

热门推荐