mnfst avatar

mnfst/manifest

7.2k 473 27
TypeScript MIT
创建于 3 年前 最后更新 2 天前 +5 stars today

AI 综合评分

72 B 级
代码质量
66
文档质量
75
社区健康
69
项目活跃
78
创新性
63

项目简介

统一连接AI代理与多种大模型提供商,实现路由、追踪与成本优化。

项目摘要

【主题】

让开发者用一个统一入口连接任意AI提供商,告别多SDK、高成本和黑盒追踪。

【核心分点总结】

  1. 多提供商路由:智能路由请求到最合适的模型(如OpenAI、Anthropic等),支持fallback和负载均衡。

  2. 成本与用量追踪:内置token计数和费用统计,实时监控每一笔调用,避免预算超支。

  3. LLM可观测性:自动记录请求日志、延迟和错误,提供可视化面板,方便调试和优化。

  4. BYOK(Bring Your Own Key):支持开发者自带API密钥,无需集中管理,安全灵活。

  5. 轻量级代理:基于TypeScript,性能开销极低,可嵌入现有后端或独立部署。

【行动指南】

  1. 多模型切换场景:当你想在多个LLM提供商间无缝切换、比较效果或做故障转移时,直接用Manifest代理路由。
  2. 成本控制场景:需要精细追踪每个API调用的token消耗和费用,避免超支,集成Manifest的成本监控模块。
  3. 快速上手npm install @mnfst/manifest,然后用client = new Manifest({ providers: ['openai', 'anthropic'] }) 即可开始调用。

【金句总述】

让你的AI代理像交换机一样灵活——一个配置,全协议通联。

【故事性收尾】

以前,你桌上摆着三台终端——OpenAI、Anthropic、本地模型,每台都用自己的SDK和账单。现在,你只需一个Manifest终端,所有请求自动路由到最便宜的模型,报表实时生成,而你可以悠闲地喝着咖啡,看代理们安静地协作。

相关项目推荐