Koala OSS Club

Cactus 让你可以在手机上本地部署 LLM、VLM 和 TTS 模型。它可以作为库被 Flutter 和 React Native 应用加载使用，方便开发者开发出跨平台应用。 它目前支持运行各种 GGUF 模型，比如 Qwen、Gemma、Llama、DeepSeek 等等。Cactus 还能根据设备性能调整模型量化级别，从 FP32 到 2-bit 都能支持，尽可能保证效率和设备流畅。 它也同时支持云端模型 API 调用，应用开发者可以选择本地优先、云端优先或严格本地等多种运行策略，进一步提升 API 调用的成功率。