苹果介绍 Ferret-UI 多模态大语言模型:更充分理解手机屏幕内容

2024-04-10 发布 · 浏览337次 · 点赞0次 · 收藏0次

4 月 10 日消息,苹果公司近日发布研究论文,展示了 Ferret-UI AI 系统,可以理解应用程序屏幕上的内容。

以 ChatGPT 为代表的 AI 大语言模型(LLMs),其训练材料通常是文本内容。为了能够让 AI 模型能够理解图像、视频和音频等非文本内容,多模态大语言模型(MLLMs)因此孕育而生。

只是现阶段 MLLMs 还无法有效理解移动应用程序,这主要有以下几个原因:

1. 手机屏幕的宽高比,和大多数训练图像使用的屏幕宽高比不同。

2. MLLMs 需要识别出图标和按钮,但它们相对来说都比较小。

因此苹果构想了名为 Ferret-UI 的 MLLM 系统解决了这些问题:

与自然图像相比,用户界面屏幕的长宽比通常更长,包含的关注对象(如图标、文本)也更小,因此我们在 Ferret 的基础上加入了 "任意分辨率",以放大细节并利用增强的视觉功能。

我们精心收集了大量初级用户界面任务的训练样本,如图标识别、查找文本和小部件列表。这些样本的格式都是按照带有区域注释的指令来设计的,以便于精确引用和接地。

为了增强模型的推理能力,我们进一步编制了高级任务数据集,包括详细描述、感知 / 交互对话和功能推理。

苹果在论文中表示相比较现有的 GPT-4V,以及其它 MLLMs 模型,Ferret-UI AI 模型更为优秀。

参考地址

苹果介绍 Ferret-UI 多模态大语言模型:更充分理解手机屏幕内容 - AI 资讯 - 资讯 - AI 中文社区

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里。本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它能得到比较好的回应。
评论

游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。