如何使用 Google TPU 微基准测试评估 TPU 性能Google 开源 TPU 微基准测试套件提供网络、计算、HBM、主机传输和注意力组件的细粒度性能指标,帮助开发者验证真实硬件能力。通过基准测试建立 Roofline 模型,工程师可准确诊断机器学习工...AI资讯分类技术资讯# Google# 教程/实践# 部署/工程3个月前03800
AlloyDB 推出 IAM 群组认证预览版,强化企业级与 AI 智能体安全Google Cloud 宣布 AlloyDB 推出 IAM 群组认证(预览版),允许安全团队通过最多 200 个 Google Groups 管理数据库访问。该功能支持 AI 智能体传递用户群组身份...AI资讯分类技术资讯# Google# 产品更新# 智能体3个月前04500
丰田北美如何用 Deep Agents 和 LangSmith 规模化企业 AI丰田北美借助 Deep Agents 和 LangSmith 运行 50 多个生产环境 AI 智能体,将交付周期从 6 个月缩短至 4 天。文章展示了其如何通过 LangSmith 追踪 AI 投资回...AI资讯分类技术资讯# 智能体# 行业动态# 部署/工程2个月前03220
Cloudflare Workers 与 Containers 现已支持入站 TCP 连接和 gRPCCloudflare 在 Agents Week 期间推出 Workers 运行时新处理器 connect(socket),可直接接受 Spectrum 提供的入站 TCP 套接字,并支持将套接字转发...AI资讯分类技术资讯# 产品更新# 智能体# 部署/工程3个月前07360
GPT-5.6 如何推进性价比前沿OpenAI 为 GPT-5.6 的 Luna 和 Terra 版本推出更低定价,以更高效的模型帮助企业大规模部署 AI 工作流。AI资讯分类技术资讯# OpenAI# 推理# 模型发布3个月前04120
Mistral 与 HUMAIN 达成战略合作,推进沙特及中东主权 AIMistral 与 HUMAIN 宣布达成战略合作,覆盖 AI 基础设施、先进模型开发及 AI 解决方案部署,聚焦沙特阿拉伯及更广泛地区。双方将合作开发本地化 AI 模型,初期重点包括网络安全和语音...AI资讯分类技术资讯# 开源生态# 行业动态# 部署/工程2个月前04480
统一 Radix 缓存:为混合模型前缀缓存构建单一树结构LMSYS 团队提出 Unified Radix Cache,用单一 token 键控 radix 拓扑统一管理混合模型的 FULL、SWA 和 MAMBA 组件缓存,各组件独立执行路径、滑动窗口和检...AI资讯分类技术资讯# 推理# 论文/研究# 部署/工程3个月前03660
Ling-3.0-flash 在 4 块 Blackwell GPU 上如何将批处理 1 解码延迟降低 54%蚂蚁 Ling Infra 团队与 RadixArk SGLang 团队将 Ling-3.0-flash 混合线性注意力 MoE 模型的单请求解码速度从 288 tok/s 提升至 606 tok/s...AI资讯分类技术资讯# 推理# 论文/研究# 部署/工程3个月前04120
腾讯混元开源 AngelSpec 投机解码框架腾讯混元开源端到端投机解码框架 AngelSpec,支持训练与部署。在 Hy3-A21B 模型上,其 DFly 方案相比自回归解码实现 1.98–2.40 倍端到端加速,吞吐量比 DFlash 高 1...AI资讯分类技术资讯# 开源/仓库# 推理# 部署/工程3个月前04500
Claude Tag 如何担任 Anthropic CI/CD 故障的一线响应者Anthropic 的 CI 工程师用 Claude Tag 构建了值班智能体,作为 CI/CD 故障的一线响应者。Claude 在事故发生后中位 14 分钟发布首份基于证据的分析,最快案例中 3 分...AI资讯分类技术资讯# Anthropic# MCP/工具# 教程/实践3个月前08380