尽管LLaVA是用一个小的多模态指令数据集训练的，但它在一些示例上展示了与多模态模型GPT-4非常相似的推理结果。
GPT-4的识图能力什么时候能上线呢？这个问题目前依然没有答案。
但研究社区已经等不及了，纷纷自己上手DIY，其中最火的是一个名为MiniGPT-4的项目。MiniGPT-4展示了许多类似于GPT-4的能力，例如生成详细的图像描述并从手写草稿创建网站。此外，作者还观察到MiniGPT-4的其他新兴能力，包括根据给定的图像创作故事和诗歌，提供解决图像中显示的问题的解决方案，根据食品照片教用户如何烹饪等。该项目上线3天就拿到了近一万的Star量。
今天要介绍的项目——LLaVA（LargeLanguageandVisionAssistant）与之类似，是一个由威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学研究者共同发布的多模态大模型。
该模型展示出了一些接近多模态GPT-4的图文理解能力：相对于GPT-4获得了85.1%的相对得分。当在科学问答（ScienceQA）上进行微调时，LLaVA和GPT-4的协同作用实现了92.53%准确率的新SoTA。
以下是机器之心的试用结果（更多结果见文末）：
论文概览
人类通过视觉和语言等多种渠道与世界交互，因为不同的渠道在代表和传达某些概念时都有各自独特的优势，多渠道的方式有利于更好地理解世界。人工智能的核心愿望之一是开发一个通用的助手，能够有效地遵循多模态指令，例如视觉或语言的指令，满足人类的意图，在真实环境中完成各种任务。
为此，社区兴起了对开发基于语言增强的视觉模型的风潮。这类模型在开放世界视觉理解方面具有强大的能力，如分类、检测、分割和图文，以及视觉生成和视觉编辑能力。每个任务都由一个大型视觉模型独立解决，在模型设计中隐含地考虑了任务的需求。此外，语言仅用于描述图像内容。虽然这使得语言在将视觉信号映射到语言语义（人类交流的常见渠道）方面发挥了重要作用，但它导致模型通常具有固定的界面，在交互性和对用户指令的适应性上存在限制。
另一方面，大型语言模型（LLM）已经表明，语言可以发挥更广泛的作用：作为通用智能助理的通用交互接口。在通用接口中，各种任务指令可以用语言明确表示，并引导端到端训练的神经网络助理切换模式来完成任务。例如，ChatGPT和GPT-4最近的成功证明了LLM在遵循人类指令完成任务方面的能量，并掀起了开发开源LLM的热潮。其中，LLaMA是一种与GPT-3性能相近的开源LLM。Alpaca、Vicuna、GPT-4-LLM利用各种机器生成的高质量指令跟踪样本来提高LLM的对齐能力，与专有LLM相比，展示出了令人印象深刻的性能。但遗憾的是，这些模型的输入仅为文本。
在本文中，研究者提出了视觉instruction-tuning方法，首次尝试将instruction-tuning扩展到多模态空间，为构建通用视觉助理铺平了道路。
具体来说，本文做出了以下贡献：
LLaVA架构
本文的主要目标是有效利用预训练的LLM和视觉模型的功能。网络架构如图1所示。本文选择LLaMA模型作为LLMfφ（），因为它的有效性已经在几个开源的纯语言instruction-tuning工作中得到了证明。
对于输入图像X_v，本文使用预训练的CLIP视觉编码器ViT-L/14进行处理，得到视觉特征Z_v=g(X_v)。实验中使用的是最后一个Transformer层之前和之后的网格特征。本文使用一个简单的线性层来将图像特征连接到单词嵌入空间中。具体而言，应用可训练投影矩阵W将Z_v转换为语言嵌入标记H_q，H_q具有与语言模型中的单词嵌入空间相同的维度：
之后，得到一系列视觉标记H_v。这种简单投影方案具有轻量级、成本低等特点，能够快速迭代以数据为中心的实验。也可以考虑连接图像和语言特征的更复杂（但昂贵）的方案，例如Flamingo中的门控交叉注意力机制和BLIP-2中的Q-former，或者提供对象级特征的其他视觉编码器，如SAM。
实验结果
多模态聊天机器人
研究者开发了一个聊天机器人示例产品，以展示LLaVA的图像理解和对话能力。为了进一步研究LLaVA如何处理视觉输入，展现其处理指令的能力，研究者首先使用GPT-4原始论文中的示例，如表4和表5所示。使用的prompt需要贴合图像内容。为了进行比较，本文引用了其论文中多模态模型GPT-4的prompt和结果。
令人惊讶的是，尽管LLaVA是用一个小的多模态指令数据集（约80K的不重复图像）训练的，但它在以上这两个示例上展示了与多模态模型GPT-4非常相似的推理结果。请注意，这两张图像都不在LLaVA的数据集范围内，LLaVA能够理解场景并按照问题说明进行回答。相比之下，BLIP-2和OpenFlamingo专注于描述图像，而不是按照用户指令以适当的方式进行回答。更多示例如图3、图4和图5所示。
定量评估结果见表3。
ScienceQA
ScienceQA包含21k个多模态多选问题，涉及3个主题、26个话题、127个类别和379种技能，具有丰富的领域多样性。基准数据集分为训练、验证和测试部分，分别有12726、4241和4241个样本。本文对比了两种有代表性的方法，包括GPT-3.5模型（text-davinci-002）和没有思维链（CoT）版本的GPT-3.5模型，LLaMA-Adapter，以及多模态思维链（MM-CoT）[57]，这是该数据集上当前的SoTA方法，结果如表6所示。
试用反馈
在论文给出的可视化使用页面上，机器之心也尝试着输入了一些图片和指令。首先是问答里常见的数人任务。测试表明，数人的时候较小的目标会被忽略，重叠的人也有识别误差，性别也有识别误差。
接着，我们尝试了一些生成任务，比如为图片起名字，或者根据图片讲一个故事。模型输出的结果还是偏向于图片内容理解，生成方面的能力还有待加强。
在这张照片中，即便人体有重合也依然能准确地识别出人数。从图片描述和理解能力的角度来看，本文的工作还是存在亮点，存在着二创的空间。