SiteLLM = LiteLLM + 中文生态 + 安全
集安全基座(Security)、智能运营(Intelligence)、全链路追溯(Trace)与生态协同(Ecosystem);上承大模型,下启智能体,让你每一个 Token 都能发光发热。
从成本消耗到核心价值资产的跨越
集中汇聚与管理全平台模型调用,告别多后台管理的混乱状态,实现统一调度。
深度兼容国内外 100+ 主流模型,同时支持本地大模型部署工具,满足多样化业务需求。
构建一套统一的认证标准与权限管理体系,大幅简化企业内部的安全治理流程。
支持透明代理模式,客户端代码无需任何改造即可快速切换上线,降低迁移成本。
虚拟密钥与人员、应用实体一一对应,实现精细化的权限控制,确保每一笔操作都可追溯,权责清晰明确。
用户和应用仅使用平台分发的虚拟密钥进行接口接入,真实的 API Key 由平台统一、安全地集中托管,从源头杜绝直接泄露风险。
支持配置统一的密钥自动轮换策略,在不中断业务运行的前提下更新真实密钥,全面降低密钥长期使用带来的泄露隐患。
灵活配置主体与模型资源的访问策略,确保每一项操作都在授权范围内进行,实现最小权限原则。
构建部门、用户、密钥、标签四级权限体系,支持多维度、多层次的精细化管控,满足复杂组织架构需求。
密钥按需生成、自动过期,有效降低长期静态授权带来的安全风险,确保权限的时效性与安全性。
支持配置 API 调用频次限制,防止恶意滥用与资源过度消耗,保障系统的整体稳定性与公平性。
按日/周/月设定预算配额,多层级配置,超额自动预警,有效避免意外超支。
每百万 token / 每小时 / 每千次请求三种核心计费模式,多租户独立核算,计量精准到单次 API 调用。
按团队、项目、接口、场景多维度拆分用量,时段趋势与项目对比一目了然,自动生成成本报表。
打通 Token 消耗与业务指标,精准核算单位产出;自动识别无效调用,输出模型降级、缓存复用等优化建议。
申请→分配→调用→消耗→归档全流程日志,满足 GDPR、等保等监管要求,合规报告一键导出。
内置敏感词过滤、PII 脱敏、内容合规、输入长度限制,支持自定义关键词、正则、业务规则,多护栏串联与条件分支,四维度绑定至虚拟密钥/模型/团队。
全量日志留存,覆盖请求参数、响应内容、耗时、Token 消耗等,异常行为实时预警,支持第三方行为分析。
严格遵循隐私保护与合规要求,敏感数据自动脱敏,支持日志回调方式完成数据沉淀与用户行为分析。
覆盖企业 AI 应用全场景
让每一次 AI 调用都安全、清晰、有价值
虚拟密钥 + 集中管控 + 安全护栏,密钥永不泄露
细粒度访问控制,动态授权、防滥用防越权
全维度 Token 运营,从"糊涂账"到"精准账"
全链路审计 + 日志留存 + 合规报告,轻松过审
异常识别 + 优化建议 + 自动降本,持续提效
一站式入口 + 透明代理,业务零改造快速上线
由云智杭州团队研发,可提供定制、托管和技术支持等商业服务,欢迎大家参与到开源社区。