Uber 用 Agent 接管 70% 代码 PR,AI 账单零增长Uber 技术长文显示,全公司 70% 的代码 PR 已由 AI Agent 接管,调用量半年增长近 10 倍,但总 AI 账单未涨,单次会话成本降低 52%。AI资讯分类技术资讯# 智能体# 编码# 行业动态2个月前04640
如何在编辑器里实时挑选最佳 AI 模型OpenRouter 提出一套模型选型框架:先定义任务,从实时用量和第三方基准中筛选候选,再对比各提供商的定价与延迟,最后用自有提示词测试。判断标准是“每完成任务的成本”而非“每 token 成本...AI资讯分类技术资讯# MCP/工具# 教程/实践# 部署/工程2个月前04620
SGLang 推出 Weight Cache Daemon,实现亚秒级引擎重启SGLang 团队推出 Weight Cache Daemon,通过 CUDA IPC 零拷贝映射将模型权重加载从约 495 秒降至约 0.63 秒(约 785 倍加速),端到端启动时间减少 93.9...AI资讯分类技术资讯# 产品更新# 开源生态# 部署/工程3个月前04620
Cloudflare 开启 Agents Week:探讨面向智能体的 Agent Cloud 形态The cloud we have today, and the web it sits on, were built for people. Every layer assumes a human ...AI资讯分类技术资讯# 智能体# 行业动态# 部署/工程3个月前04580
SGLang 与 Miles 为 Qwen3.8-2.4T-A95B 提供 Day-0 支持SGLang 与 Miles 在发布首日即支持 Qwen3.8-2.4T-A95B,这是 Qwen 最大的开源模型,总参数 2.4T,每 token 激活 95B,采用混合注意力架构。AI资讯分类技术资讯# 产品更新# 开源生态# 部署/工程3个月前04540
如何评估不同 LLM 提供商在延迟、吞吐量和正常运行时间上的性能同一模型在不同提供商端点上的表现因基础设施、量化、负载处理和路由默认设置而异。评估需测量延迟、吞吐量、正常运行时间和精度,并将测量结果转化为路由策略。AI资讯分类技术资讯# 教程/实践# 部署/工程3个月前04540
腾讯混元将端侧翻译模型 Hy-MT2-1.8B 压缩至 440MB,已落地哔哩哔哩直播弹幕翻译腾讯混元将端侧翻译模型 Hy-MT2-1.8B 通过 2-bit 与 1.25-bit 量化方案压缩至 574MB 和 440MB,翻译质量几乎无损,在 FLORES-200 上优于 Microsof...AI资讯分类技术资讯# Hugging Face# 模型发布# 端侧2个月前04520
SGLang 重构 CUDA Graph 支持,Breakable CUDA Graph 成 prefill 默认方案SGLang 重构 CUDA Graph 支持,通过 runner/backend 接口拆分使不同捕获策略可复用。其社区首创的 Breakable CUDA Graph(BCG)现为 prefill ...AI资讯分类技术资讯# Meta# 推理# 教程/实践3个月前04520
AlloyDB 推出 IAM 群组认证预览版,强化企业级与 AI 智能体安全Google Cloud 宣布 AlloyDB 推出 IAM 群组认证(预览版),允许安全团队通过最多 200 个 Google Groups 管理数据库访问。该功能支持 AI 智能体传递用户群组身份...AI资讯分类技术资讯# Google# 产品更新# 智能体3个月前04500