Korea Database

现有库的局限性
虽然语言视觉基础模型取得了令人瞩目的成果，但它们也存在一些局限性。例如，由于语言视觉任务的多样性和复杂性，训练和评估这些模型并非易事。实验流程繁琐，需要手动下载预训练模型和特定任务数据集，编写代码以进行模型训练和评估，以及执行检查点和日志记录等杂项任务。对于新入职的研究人员和从业人员来说，完美地执行每一步都极具挑战性。原因是模型、数据集和任务评估之间的接口不一致，以及准备所需实验设置所需的大量工作。

另一个限制是：大多数现有的语言-视觉库支持的任务、数据集和/或模型有限。例如，MMF（用于多模态 AI 模型的多模态框架）主要支持特定任务的微调模型，但性能较差；X-modaler（用于跨模态分析的代码库——图像字幕、视频字幕和视觉-语言预训练）支持的任务和数据集少得多，对基础模型的支持也有限。其他正在进行的研究，包括 TorchMultimodal 和 UniLM，目前大多处于开发阶段，功能有限。

此外，这些库的设计并不利于轻松获取现成的数据集和模型。这为想要利用建模功能和资源的 手机号数据库列表 用户设置了额外的障碍。

最后，大多数这些库不提供微调的模型检查点或广泛的基准测试结果。这导致需要付出额外的努力来复制模型性能。


LAVIS：面向所有人的综合语言视觉库
为了让新兴的语​​言视觉智能和能力能够被更广泛的受众所使用，促进其实际应用，并减少未来开发中的重复工作，我们构建了LAVIS（LAnguage-VISion 的缩写），这是一个开源库，它为以下功能提供了统一的接口：

在丰富的任务和数据集上训练和评估最先进的语言视觉模型
基于定制语言视觉数据的现成推理
通过新模型、任务和数据集轻松扩展。