Hugging Face transformers 支持运行 llama.cpp 的 GGUF 量化模型
Hugging Face 在 transformers 中加入对 GGUF 模型的高效运行支持，通过复用 ggml 的 Metal 内核，可在 Apple Silicon 上以熟悉的 from_pretrained 接口加载并生成。
推荐理由：原文给出了 GGUF 加载方式、性能对比和当前限制，读者可以据此判断在 transformers 里跑本地量化模型的可行性与适用场景。
跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
Hugging Face 在 transformers 中加入对 GGUF 模型的高效运行支持，通过复用 ggml 的 Metal 内核，可在 Apple Silicon 上以熟悉的 from_pretrained 接口加载并生成。
推荐理由：原文给出了 GGUF 加载方式、性能对比和当前限制，读者可以据此判断在 transformers 里跑本地量化模型的可行性与适用场景。