LLM 框架与工具
构建 LLM 驱动应用的热门框架
共 38 个项目
langchain-ai / langchain
构建上下文感知推理应用的Python框架
langchain-ai / langchain
LangChain 是一个用于构建 AI 智能体和应用的 Python 开源开发平台。
milvus-io / milvus
高性能云原生向量数据库，专为大规模向量近似最近邻搜索设计
run-llama / llama_index
LlamaIndex 是用于构建 LLM 应用的数据框架，简化 RAG 实现。
microsoft / autogen
微软开源的智能体AI编程框架，支持多智能体协作与自主决策。
huggingface / transformers
统一框架，轻松加载、微调和部署文本、视觉、音频等多模态SOTA预训练模型。
modelscope / FunASR
工业级语音识别工具包，支持超实时识别、50多种语言、说话人分离、情绪检测及流式服务。
vllm-project / vllm
vLLM：高性能、内存高效的大模型推理与部署引擎
lance-format / lance
面向多模态AI的开放湖仓格式，性能提升百倍，兼容主流数据工具。
ggml-org / whisper.cpp
Port of OpenAI's Whisper model in C/C++
explosion / spaCy
💫 Industrial-strength Natural Language Processing (NLP) in Python
NVIDIA / Megatron-LM
NVIDIA 开源的用于大规模训练 Transformer 模型的研究框架。
apache / seatunnel
SeaTunnel is a multimodal, high-performance, distributed, massive data integration tool.
BlinkDL / RWKV-LM
RWKV 是一个兼具 RNN 高效与 Transformer 高性能的线性注意力语言模型架构，支持并行训练和无限长上下文。
run-llama / llama_index
LlamaIndex is the leading document agent and OCR platform
EleutherAI / lm-evaluation-harness
A framework for few-shot evaluation of language models.
Giskard-AI / giskard-oss
🐢 Open-Source Evaluation & Testing library for LLM Agents
intel / neural-compressor
英特尔开源神经网络压缩工具，支持SOTA低比特量化与稀疏化，提升大模型部署效率。
openvinotoolkit / nncf
神经网络压缩框架，用于提升OpenVINO推理性能，支持量化、剪枝等压缩技术。
khoj-ai / khoj
自托管的AI第二大脑，集成搜索、问答与自动化，支持多种LLM。
openai / openai-agents-python
轻量级多代理工作流框架，用于构建和协调AI代理。
speechbrain / speechbrain
A PyTorch-based Speech Toolkit
SharpAI / DeepCamera
Open-Source AI Camera Skills Platform, AI NVR & CCTV Surveillance. Local VLM video analysis with Qwen, DeepSeek, SmolVLM, LLaVA, YOLO26. LLM-powered agentic security camera agent — watches, understands, remembers & guards your home via Telegram, Discord or Slack. Pluggable AI skills. OpenAI, Google, Anthropic or local AI. Runs on Mac Mini & AI PC.
64bit / async-openai
一个用 Rust 编写的 OpenAI API 异步客户端库，提供类型安全和高效的接口调用。
openai / openai-cookbook
Examples and guides for using the OpenAI API
zenml-io / zenml
ZenML 🙏: One AI Platform from Pipelines to Agents. https://zenml.io.
TransformerLensOrg / TransformerLens
一个用于GPT风格语言模型机械可解释性的Python库。
dust-tt / dust
Custom AI agent platform to speed up your work.
neuml / txtai
一个用于语义搜索、LLM编排和语言模型工作流的全能AI框架。
argilla-io / argilla
Argilla是AI工程师与领域专家协作构建高质量数据集的工具。
hongbo-miao / hongbomiao.com
A personal research and development (R&D) lab that facilitates the sharing of knowledge.
DLR-RM / stable-baselines3
基于 PyTorch 的强化学习算法可靠实现，提供标准化的训练与评估工具。
f / prompts.chat
f.k.a. Awesome ChatGPT Prompts. Share, discover, and collect prompts from the community. Free and open source — self-host for your organization with complete privacy.
RasaHQ / rasa
💬 Open source machine learning framework to automate text- and voice-based conversations: NLU, dialogue management, connect to Slack, Facebook, and more - Create chatbots and voice assistants
argosopentech / argos-translate
Open-source offline translation library written in Python
pionxzh / chatgpt-exporter
一款浏览器脚本工具，可导出并分享你的ChatGPT对话历史记录。
gitleaks / gitleaks
Find secrets with Gitleaks 🔑
pathwaycom / pathway
Python流处理ETL框架，用于实时分析、LLM管道和RAG。