快速开始

mllm 是一个开源项目，您可以在您的项目中自由使用它。您可以在GitHub上找到源代码。 该项目也是公开开发和维护的，查看贡献指南看看您如何可以帮助。

贡献指南 了解如何为mllm做出贡献。

在您开始之前

1. 克隆仓库

git clone https://github.com/UbiquitousLearning/mllm

2. 检查先决条件 虽然mllm是一个独立的库，但它需要一些工具来构建项目和一些其他库来加速推理。

• gcc(11.4+) / clang (11.0+)
• CMake >= 3.18
• OpenMP库
• Android NDK工具链 >= 26

构建项目

构建目标

目前，mllm可以在Android，Linux和macOS上运行，支持x86_64，arm64的架构。

mllm提供两种形式的用户界面：命令行界面Demo和Android Demo应用。

为CLI演示构建

CLI应用默认开启编译,您可以在bin或bin-arm目录中找到可执行文件。

提示

注意,在执行二进制文件之前,您需要将模型文件和Tokenizer 放置在当前目录下的models目录中。

• 为本机操作系统HostOS构建：

cd scripts && ./build.sh

• 为Android构建：（需要NDK）

export ANDROID_NDK=/path/to/your/ndk
cd scripts && ./build_android.sh

二进制Demo应用应该位于bin或bin-arm目录中,如果需要在Android平台上测试命令行Demo,您可以使用adb push命令将二进制文件推送到设备上,并通过adb shell命令运行它。

提示

针对最常用的LLAMA模型,我们给出一个运行脚本来使用adb来快速测试mllm的性能。 在运行脚本前,您需要将模型文件和Tokenizer推送到设备 /data/local/tmp/mllm/models 目录下.

cd scripts && ./run_llama.sh

为Android演示应用构建

Android演示应用目前处于非常早期的阶段，并且它在一个单独的仓库中进行维护,并通过 android 这个子模块来引入.

提示

注意,当您使用Android Demo App时,您需要在启动App前将模型文件和Tokenizer推送到设备 /sdcard/Download/model 目录下,并按照以下表格重命名.

File	FileName
Fuyu Model	fuyu.mllm
Fuyu Vocab	vocab_uni.mllm
LLaMA Model	llama_2.mllm
LLaMA Vocab	vocab.mllm

1. 拉取子模块

git submodule update --init --recursive # 克隆安卓演示应用

2. 现在您可以将项目导入到Android Studio并构建它。

3. 如果您不使用Android Studio,您可能需要手动设置JDK(17+)和Android SDK(30+)环境,然后使用gradle构建它。

构建JNI库

mllm JNI库的二进制文件随Android演示应用一起提供。您可以在android/app/src/main/cpp/libs目录中找到它。 但是，如果您想自己构建它，可以按照以下步骤操作：

export ANDROID_NDK=/path/to/your/ndk
cmake -DCMAKE_TOOLCHAIN_FILE="${ANDROID_NDK}/build/cmake/android.toolchain.cmake" -DAPK=ON -DANDROID_ABI="arm64-v8a" -DANDROID_NDK="${ANDROID_NDK}" -DANDROID_PLATFORM=android-28 -B./build_arm/ .
cmake --build ./build_arm/ --target all -- -j$(nproc)

libmllm_lib.a应该位于build_arm目录中。

我们也提供了一个脚本来快速构建Android Demo App:

cd scripts && ./build_android_app.sh