平台特色
我们做了什么不一样的?
Section titled “我们做了什么不一样的?”摆渡人 不是简单的请求转发,自研 SmartRelay 优化层 在请求路径上做了四件事:
1. 响应缓存
Section titled “1. 响应缓存”完全相同的请求直接命中本地缓存,0 延迟、0 费用。多端共享同一个 prompt 的场景特别有效。
2. 上下文压缩
Section titled “2. 上下文压缩”长对话历史经过摘要压缩,关键信息保留、节省 token。压缩本身的成本由平台承担。
3. 上游缓存断点注入
Section titled “3. 上游缓存断点注入”自动在 Tools → System → 历史边界 4 个最优位置插入 cache_control,最大化 Claude / OpenAI 官方缓存命中率。比你自己手写还激进。
4. 工具响应截断
Section titled “4. 工具响应截断”工具响应超过 25K token 自动截断 —— 按 Anthropic 工程团队推荐值。防止 context rot 拖累后续生成质量。
节省效果可视化
Section titled “节省效果可视化”- 个人节省数据 → 用量日志 顶部 “SmartRelay 智能优化为你节省” 卡片
- 全平台节省数据 → 首页落地页 “已为客户累计节省” 横幅,每分钟刷新
多密钥负载均衡 + 速率受限自动避让 + 故障秒级切换,对用户完全透明。