Chameleon:Meta 的新多模式法学硕士
Chameleon: Meta’s New Multi-Modal LLM

原始链接: https://arxiv.org/abs/2405.09818

arXivLabs 是一个框架,允许合作者直接在我们的网站上开发和共享新的 arXiv 功能。 与 arXivLabs 合作的个人和组织都接受并接受了我们开放、社区、卓越和用户数据隐私的价值观。 arXiv 致力于这些价值观,并且只与遵守这些价值观的合作伙伴合作。 您有一个可以为 arXiv 社区增加价值的项目想法吗? 了解有关 arXivLabs 的更多信息。

文本表达了对开源模型长期可持续性的担忧。 The author suggests three potential solutions: 1. 摩尔定律等技术进步导致计算成本降低,使高价模型在更短的时间内变得可以承受。 2. 通过量化和更小的设计来专业化模型,可能会带来类似于从整体系统到微服务的转变的进步。 3. 专注于微调模型而不是完整的端到端训练,这可以使视觉模型变得高效,而不需要大量资源。 作者还分享了一个使用预训练权重创建专用对象检测器的示例,这意味着简单和高效。 他们质疑为什么由于缺乏公开可用的模型权重或为开源项目实施分布式训练的挑战,变压器架构可能看不到类似的进展。
相关文章

原文

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

联系我们 contact @ memedata.com