跳转到内容

介绍

mllm是一款适用于移动和边缘设备的快速、轻量级的多模态LLM推理引擎。

  • 纯C/C++实现,无依赖性
  • 针对像fuyu-8B这样的多模态LLM进行了优化
  • 支持:ARM NEON和x86 AVX2
  • 4位和6位整数量化

试一试

mllm提供了一系列的示例程序,包括使用mllm框架实现llama,clip,fuyu,vit,imagebind等。

此外,mllm还为安卓设备提供了一个示例应用,您可以通过adb将模型上传到您的手机,体验在mllm上不同模型推理的效果。

UI 屏幕阅读图像理解LLM 文字聊天