mnfst manifest 7246 TypeScript https://avatars.githubusercontent.com/u/8403534?v=4 72 统一连接AI代理与多种大模型提供商,实现路由、追踪与成本优化。 Connect Your Agents And Harnesses With Any Provider 🦚
创建于 3 年前
最后更新 2 天前
+5 stars today
AI 综合评分
72 B 级
代码质量 66
文档质量 75
社区健康 69
项目活跃 78
创新性 63
项目简介
统一连接AI代理与多种大模型提供商,实现路由、追踪与成本优化。
项目摘要
【主题】
让开发者用一个统一入口连接任意AI提供商,告别多SDK、高成本和黑盒追踪。
【核心分点总结】
多提供商路由:智能路由请求到最合适的模型(如OpenAI、Anthropic等),支持fallback和负载均衡。
成本与用量追踪:内置token计数和费用统计,实时监控每一笔调用,避免预算超支。
LLM可观测性:自动记录请求日志、延迟和错误,提供可视化面板,方便调试和优化。
BYOK(Bring Your Own Key):支持开发者自带API密钥,无需集中管理,安全灵活。
轻量级代理:基于TypeScript,性能开销极低,可嵌入现有后端或独立部署。
【行动指南】
- 多模型切换场景:当你想在多个LLM提供商间无缝切换、比较效果或做故障转移时,直接用Manifest代理路由。
- 成本控制场景:需要精细追踪每个API调用的token消耗和费用,避免超支,集成Manifest的成本监控模块。
- 快速上手:
npm install @mnfst/manifest,然后用client = new Manifest({ providers: ['openai', 'anthropic'] })即可开始调用。
【金句总述】
让你的AI代理像交换机一样灵活——一个配置,全协议通联。
【故事性收尾】
以前,你桌上摆着三台终端——OpenAI、Anthropic、本地模型,每台都用自己的SDK和账单。现在,你只需一个Manifest终端,所有请求自动路由到最便宜的模型,报表实时生成,而你可以悠闲地喝着咖啡,看代理们安静地协作。