intel/neural-compressor

2.7k 331 33

Python Apache-2.0

GitHub Homepage

创建于 6 年前最后更新 5 天前

AI 综合评分

73 B 级

代码质量

67

文档质量

76

社区健康

70

项目活跃

79

创新性

64

项目简介

SOTA low-bit LLM quantization (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) & sparsity; leading model compression techniques on PyTorch, TensorFlow, and ONNX Runtime

auto-tuning awq fp4 gptq int4 int8 knowledge-distillation large-language-models low-precision mxformat post-training-quantization pruning quantization quantization-aware-training smoothquant sparsegpt sparsity

相关项目推荐

NVIDIA/Megatron-LM

NVIDIA 开源的用于大规模训练 Transformer 模型的研究框架。

18.3k Python

neuml/txtai

一个用于语义搜索、LLM编排和语言模型工作流的全能AI框架。

13.0k Python

dust-tt/dust

Custom AI agent platform to speed up your work.

1.5k TypeScript