Koala OSS Club

KTransformers 让 671B 参数的 DeepSeek-V3 能在单张 24GB 显卡上运行。通过CPU-GPU异构计算和量化技术，实现3到28倍提速。最新版本支持 Intel AMX 加速和华为昇腾 NPU。 点评：在显存壁垒阻碍大模型普及的当下，这种"压榨硬件潜力"的方案极具价值。项目由清华团队主导，学术背景扎实。不过异构计算的复杂性可能导致稳定性挑战，该项目在实验和测试领域很有参考价值，但在生产环境需谨慎评估是否适合。