KTransformers - LLM 推理优化框架

KTransformers 是一个灵活的 LLM 推理与微调优化框架，支持在异构环境下（多 GPU/CPU）实现最优推理性能，兼容多种硬件后端。已获 17K+ GitHub Stars。