苹果开放 AI 研究成果，发布多模态 LLM 模型 Ferret

12 月 25 日消息，苹果公司于 2023 年 10 月与哥伦比亚大学的研究人员合作发布了名为 Ferret（雪貂）的开源多模态 LLM，但当时并没有引起太多关注。

许多人工智能社区的人士都错过了 Ferret 的发布，他们对苹果意想不到地进入开源 LLM 领域表示欢迎，尤其是因为苹果传统上被认为是一个“封闭花园”。

今天早上，经营着一个专注于医学领域开源人工智能的欧洲非营利组织的 Bart de Witte 在 X 上发帖：“我不知何故错过了这一点，苹果于 10 月加入了开源人工智能社区。Ferret 的推出证明了苹果致力于影响深远的人工智能研究，巩固了其在多模态人工智能领域领导者的地位……ps：我期待着有一天，本地大型语言模型（LLLMs）作为重新设计的 iOS 的集成服务运行在我的 iPhone 上。”

科技博客作者和 VentureBeat 撰稿人 Ben Dickson 在 LinkedIn 上写道：“2023 年你最意想不到的人工智能发展是什么？对我来说，这是苹果发布开源 LLM（尽管是非商业许可）。”

Ferret 以非商业许可证开源，这意味着它目前的版本不能用于商业目的。然而，它未来有可能被用于苹果未来的产品或服务中。苹果 AI / ML 研究科学家 Zhe Gan 在今年 10 月的一条推文中解释了 Ferret 的用途，称它可以“在一个图像中的任何地方、任何粒度上引用和定位任何事物”，它还可以使用图像中任何形状的区域来实现这一点。

简单来说，Ferret 可以检查图像上绘制的区域，识别其中的元素，并将其框选起来。然后，它可以将识别出的元素作为查询的一部分，并以典型的方式进行响应。例如，用户可以在图像中突出显示一只动物，并询问其种类，Ferret 可以识别出该动物的物种，并知道用户指的是图片中的一只特定动物。它还可以利用图像中其他元素的上下文提供进一步的响应。

Ferret 的发布对研究人员来说意义重大，表明苹果正在逐步开放其 AI 研究，这与其以往神秘封闭的形象形成了鲜明的对比。此外，苹果也面临着基础设施方面的挑战。虽然苹果正在努力增加其拥有的 AI 服务器数量，但与 ChatGPT 等模型相比，其规模可能仍然不足。除了与其他公司合作扩展其能力之外，开源模型也是苹果正在探索的另一条路径。

我们注意到，一个有趣细节是，Reddit 的 r / Apple 版块发现 Ferret“使用了 8 个带有 80GB 内存的 A100 GPU 进行训练”。鉴于苹果过去与英伟达 GPU 的支持关系，这被视为苹果对英伟达的罕见认可。