Koala OSS Club

Uzu 是一个专为 Apple 芯片设计的高性能 AI 模型推理引擎。简单来说，它能让你的 Mac 在运行 AI 模型时更快更高效。Uzu 的特点包括简单易用的 API、同时支持 GPU kernels 或 MPSGraph 的混合架构，以及统一的模型配置。它还能追踪计算过程，确保结果的准确性。如果你是开发者，并且想在 Apple 设备上追求 AI 模型的最佳性能，那 Uzu 值得尝试。而且，它还提供 Swift 绑定，方便你在 iOS 和 macOS 应用中使用。 从性能评测上看，Uzu 在不同模型中均保持了稳定的性能，比 llama.cpp 更胜一筹。