如果你不运行自己的 LLM 代理,你怎么知道发生了什么?
If you don't run your own LLM proxy, how do you know whats going on?

原始链接: https://jrdsgl.com/if-you-dont-run-your-own-llm-proxy-how-the-fuck-do-you-even-know-whats-going-on/

启用JavaScript和cookies以继续

HN 讨论询问如何在不使用 LLM 代理的情况下观察 AI 编码代理。多位评论者称代理有助于成本限制、安全、沙箱和统一访问,但 OTEL 跟踪、钩子、插件或本地会话日志可在不成为单点故障的情况下提供可见性。其他人警告运行框架可能只暴露它们选择的内容,因此沙箱和网络监控很重要。帖子还讨论订阅与 API 定价:订阅通常有补贴,而 API 用量可能快速消耗;有些用户报告成本高,另一些认为订阅足够。其他要点包括存储聊天中的 PII/GDPR 风险、企业/API 定价差异,以及 LiteLLM、Bifrost、OpenRouter、Tailscale Aperture 等替代方案,以及各种遥测或代理会话工具。总体上没有共识:代理提供更强的控制和成本治理,而 OTEL 和本地日志是更轻量的可观测性选项。
相关文章

原文
联系我们 contact @ memedata.com