AlloyDB 推出 IAM 群组认证预览版,强化企业级与 AI 智能体安全Google Cloud 宣布 AlloyDB 推出 IAM 群组认证(预览版),允许安全团队通过最多 200 个 Google Groups 管理数据库访问。该功能支持 AI 智能体传递用户群组身份...AI资讯分类技术资讯# Google# 产品更新# 智能体3个月前04500
Anthropic 讲解用 Claude Platform 降低成本并提升性能的三个方法Anthropic 团队文章指出,优化 prompt cache 命中率、清除升级到前沿 Claude 模型后的提示词反模式、校准 effort 三个手段可在不牺牲性能的情况下降低成本。AI资讯分类技术资讯# Anthropic# 教程/实践# 智能体2个月前04960
OpenRouter 宣布加入 StripeOpenRouter 宣布与 Stripe 合并,以加速推动全球经济增长。OpenRouter 目前每日处理来自 400 多个 AI 模型的 10+ 万亿 token,服务超 1000 万开发者与公司...AI资讯分类技术资讯# 行业动态# 部署/工程3个月前07000
Google AI 团队分享如何为 LLM-as-a-Judge 评测编写可靠的评分标准Google AI 团队发布教程,讲解如何为 LLM-as-a-Judge 评测编写可靠的布尔式评分标准,指出模糊提示会导致评估不一致和浪费 token。文中给出四条经验:问题保持原子化且互不重叠、只...AI资讯分类技术资讯# 教程/实践# 智能体# 部署/工程2个月前04920
Mojo 语言正式开源,编译器与工具链全面开放Mojo🔥 语言现已正式开源,采用 Apache 2.0 许可证(含 LLVM 例外),编译器、工具链及全部源码已发布至 modular GitHub 仓库。Mojo 上周刚达成 1.0 版本(源码稳...AI资讯分类技术资讯# 开源/仓库# 开源生态# 部署/工程3个月前04720
腾讯混元将端侧翻译模型 Hy-MT2-1.8B 压缩至 440MB,已落地哔哩哔哩直播弹幕翻译腾讯混元将端侧翻译模型 Hy-MT2-1.8B 通过 2-bit 与 1.25-bit 量化方案压缩至 574MB 和 440MB,翻译质量几乎无损,在 FLORES-200 上优于 Microsof...AI资讯分类技术资讯# Hugging Face# 模型发布# 端侧2个月前04520
腾讯混元开源 AngelSpec 投机解码框架腾讯混元开源端到端投机解码框架 AngelSpec,支持训练与部署。在 Hy3-A21B 模型上,其 DFly 方案相比自回归解码实现 1.98–2.40 倍端到端加速,吞吐量比 DFlash 高 1...AI资讯分类技术资讯# 开源/仓库# 推理# 部署/工程3个月前04500
Apple Silicon 与 macOS 虚拟机:借助 Llama.cpp 实现 11–16 倍的 LLM 推理加速研究团队为 macOS 虚拟机中的 Metal 能力查询构建进程级兼容层,使 llama.cpp 能选用更新的 Metal 内核。在 M1 Ultra 上,TinyLlama 1.1B 的提示处理速度...AI资讯分类技术资讯# 推理# 论文/研究# 部署/工程3个月前06420
NVIDIA 如何用 NVLink Fusion 让定制 XPU 融入世界级 AI 工厂NVIDIA 推出 NVLink Fusion,将定制 XPU 接入其 NVLink 扩展域,使 XPU 间端到端延迟比基于现成以太网的方案低 3 倍、数据包速率高 10 倍。AI资讯分类技术资讯# 产品更新# 部署/工程2个月前06600
Claude-thermos:保持 Claude 会话缓存热度,避免重新编码费用Claude-thermos 通过本地反向代理监控 Claude Code 会话,在主智能体因等待子智能体而空闲超过 5 分钟时,自动发送预热请求刷新提示缓存。实测约 185 次本地会话中,缓存过期导...AI资讯分类技术资讯# 开源/仓库# 编码# 部署/工程4个月前05820