LLM 框架与工具
构建 LLM 驱动应用的热门框架
共 37 个项目
langchain-ai / langchain
LangChain 是一个用于构建 AI 智能体和应用的 Python 开源开发平台。
milvus-io / milvus
高性能云原生向量数据库，专为大规模向量近似最近邻搜索设计
ggml-org / whisper.cpp
将 OpenAI Whisper 模型移植至 C/C++，实现无依赖、跨平台的高效本地语音转文字。
langchain-ai / langchain
构建上下文感知推理应用的Python框架
huggingface / transformers
统一框架，轻松加载、微调和部署文本、视觉、音频等多模态SOTA预训练模型。
modelscope / FunASR
工业级语音识别工具包，支持超实时识别、50多种语言、说话人分离、情绪检测及流式服务。
Unstructured-IO / unstructured
将复杂文档（PDF、Word等）转换为结构化数据，为LLM提供干净输入的开源ETL工具。
lance-format / lance
面向多模态AI的开放湖仓格式，性能提升百倍，兼容主流数据工具。
microsoft / autogen
微软开源的智能体AI编程框架，支持多智能体协作与自主决策。
run-llama / llama_index
LlamaIndex 是一个用于构建 LLM 应用的文档处理平台，支持 RAG、智能体和多源数据集成。
run-llama / llama_index
LlamaIndex 是用于构建 LLM 应用的数据框架，简化 RAG 实现。
paperless-ngx / paperless-ngx
一个社区驱动的文档管理系统，支持扫描、索引和归档所有文档。
Giskard-AI / giskard-oss
开源的 LLM 代理评估与测试库，专注 AI 红队攻防、安全漏洞与公平性检测。
vllm-project / vllm
vLLM：高性能、内存高效的大模型推理与部署引擎
NVIDIA / Megatron-LM
NVIDIA 开源的用于大规模训练 Transformer 模型的研究框架。
EleutherAI / lm-evaluation-harness
一个用于语言模型少样本评估的开源框架，支持多种任务和模型。
explosion / spaCy
💫 Industrial-strength Natural Language Processing (NLP) in Python
intel / neural-compressor
SOTA low-bit LLM quantization (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) & sparsity; leading model compression techniques on PyTorch, TensorFlow, and ONNX Runtime
apache / seatunnel
SeaTunnel is a multimodal, high-performance, distributed, massive data integration tool.
speechbrain / speechbrain
A PyTorch-based Speech Toolkit
mnfst / llm-gateway
统一连接AI代理与多种大模型提供商，实现路由、追踪与成本优化。
khoj-ai / khoj
自托管的AI第二大脑，集成搜索、问答与自动化，支持多种LLM。
f / prompts.chat
开源AI提示词社区，支持分享、发现与收集，可自托管保障隐私。
evidentlyai / evidently
开源ML/LLM可观测性框架，提供100+指标，评估、测试和监控AI系统与数据管道。
modelscope / modelscope
ModelScope 是阿里巴巴达摩院推出的模型即服务平台，提供海量预训练模型，支持一键下载与部署。
gitleaks / gitleaks
一款用Go编写的静态分析工具，用于在Git仓库中检测和保护敏感信息，防止秘密泄露。
neuml / txtai
一个用于语义搜索、LLM编排和语言模型工作流的全能AI框架。
dust-tt / dust
Custom AI agent platform to speed up your work.
pionxzh / chatgpt-exporter
一款浏览器脚本工具，可导出并分享你的ChatGPT对话历史记录。
SharpAI / DeepCamera
Open-Source AI Camera Skills Platform, AI NVR & CCTV Surveillance. Local VLM video analysis with Qwen, DeepSeek, SmolVLM, LLaVA, YOLO26. LLM-powered agentic security camera agent — watches, understands, remembers & guards your home via Telegram, Discord or Slack. Pluggable AI skills. OpenAI, Google, Anthropic or local AI. Runs on Mac Mini & AI PC.
openai / openai-cookbook
OpenAI API 官方示例与指南，提供 Jupyter Notebook 形式的代码示例和最佳实践。
microsoft / LMOps
微软开源的LMOps工具链，为LLM和MLLM提供从提示工程到部署的全流程AI能力支持。
DLR-RM / stable-baselines3
基于 PyTorch 的强化学习算法可靠实现，提供标准化的训练与评估工具。
zenml-io / zenml
ZenML 🙏: One AI Platform from Pipelines to Agents. https://zenml.io.
TransformerLensOrg / TransformerLens
一个用于GPT风格语言模型机械可解释性的Python库。
argosopentech / argos-translate
Open-source offline translation library written in Python
pathwaycom / pathway
Python流处理ETL框架，用于实时分析、LLM管道和RAG。