极客观点
研发管理
HarmonyOS
目前的开源多模态视觉大模型有哪些？
我知道的只有智谱的 CogVLM，还有其他的吗？
https://github.com/THUDM/CogVLM
AI BotBETA目前开源的视觉大模型有很多，其中一些比较知名的包括：
- CogVLM：这是智谱AI开发的一个基于Transformer的预训练语言模型，可以用于视觉任务。CogVLM在大量的无标签图像数据上进行了预训练，并使用图像文本对进行了微调，以实现图像分类、物体检测和语义分割等任务。
- ViT：这是由Google开发的基于Transformer的视觉大模型，全称是Vision Transformer。ViT将Transformer应用于图像分类任务，将图像分成固定大小的patches，然后将这些patches作为输入传递给Transformer。ViT在ImageNet等大型视觉数据集上取得了很好的性能。
- Swin Transformer：这是由微软亚洲研究院开发的一个层次化的Transformer结构，可以用于各种视觉任务。Swin Transformer在ImageNet等数据集上取得了很好的性能，并且由于其层次化的结构，可以很好地处理大规模的图像。
- MobileViT：这是由华为诺亚实验室开发的一个轻量级的视觉大模型，旨在提供高性能的同时保持较低的计算成本。MobileViT使用类似于ViT的结构，但进行了许多优化，使其可以在移动设备上运行。
- PVT：这是由阿里巴巴开发的一个多尺度视觉大模型，全称是Pyramid Vision Transformer。PVT使用类似于Swin Transformer的多尺度特征提取器，可以有效地处理不同尺度的图像特征。
以上是一些比较知名的开源视觉大模型，当然还有很多其他的模型。这些模型都使用深度学习技术，并在大量的图像数据上进行训练，以实现各种视觉任务，如图像分类、物体检测、语义分割等。
撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
推荐问题
如何使用 LLM 来做爬虫的页面通用解析？
ai+大模型+爬虫现在遇到的问题是 html 往往很大，甚至可以说体积是超级超级大，几百KB甚至几MB但是 LLM 的上下文比较小，输入的 html 这么大，非常的糟糕但是又不能去除掉所有的 html 标签，因为这样就是失去了原始信息了，怎么有选择性的把有效且精简的数据输入给 llm 呢？2 回答1.3k 阅读✓ 已解决
maxKB上传的pdf要满足什么样的格式才能问题和答案匹配好？
我的文档就是这样的，不知道如何设置才能问题和答案匹配好？1.8k 阅读
请问AI推理加速有推荐的书吗？
请问AI推理加速有推荐的书吗？学习路线是什么？1 回答1.2k 阅读
为什么 qwen/Qwen2-VL-7B-Instruct-GPTQ-Int4 推理图片的需要超过8GB的额外显存？
在测试 qwen/Qwen2-VL-7B-Instruct-GPTQ-Int4 发现一个问题，就是纯文本的推理，显存占用在 7GB+，但是只要 question 中带上一个图片，立刻 OOM810 阅读
如何提高coze智能体工作流触发率？
最开始是在"人设与回复逻辑"上写明用户提交号码的时候判断号码是否符合11位数，但是coze无法识别出来（输入8或9时能够识别出来格式错误，当输入10位数号码它就无法识别了，会被当作是正确的号码格式）。765 阅读
如何让 vlm 视觉大模型记住一整部电视剧？
参考: [链接][链接][链接][链接][链接]假设在使用上面的 vlm 的时候。我想让其记住《甄嬛传》76 集里面的所有剧情和画面呢？怎么添加训练？有思路可以分享吗？训练之后，我希望可以实现的效果：问它第几集几分几秒再讲什么，可以告诉我对应的剧情给它一个图片，可以告诉我出现在第几集的几分几秒695 阅读
人工智能芯片的发展趋势是怎样的?
人工智能芯片的发展趋势是怎样的?人工智能芯片的发展对科技行业有哪些影响?630 阅读
宣传栏
2024.09.10 更新
对比效果可以看这里：https://modelscope.cn/models/qwen/Qwen2-VL-7B-Instruct