GitHub Copilot 如何在不牺牲任务质量的前提下降低 AI 编码成本GitHub 工程师 Erik Kristensen 分享了 Copilot 降本的四项改动:选择性压缩工具输出、移除 view 工具行号前缀(线下推理成本降约 5%,线上用户日均推理成本降约 3...AI资讯分类技术资讯# 教程/实践# 智能体# 编码2个月前07080
OpenRouter 宣布加入 StripeOpenRouter 宣布与 Stripe 合并,以加速推动全球经济增长。OpenRouter 目前每日处理来自 400 多个 AI 模型的 10+ 万亿 token,服务超 1000 万开发者与公司...AI资讯分类技术资讯# 行业动态# 部署/工程3个月前07000
当模型持续学习:测试时训练如何改变 AI 的记忆与成本测试时训练(Test-time training)让模型在使用中持续更新权重,而非训练结束后冻结。相比标准 Transformer,其内存需求从随上下文线性增长变为恒定,斯坦福研究显示推理速度最高可提...AI资讯分类技术资讯# 推理# 现象/趋势# 部署/工程3个月前06820
Infer-forge:围绕 SGLang 的 Harness、Loop 与 Graph 工程Infer-forge 是一套围绕 SGLang 推理优化的内部工程系统,通过 MonoRepo、Harness、Task Loop 与 Task Graph 四种结构,将部署点约束链(模型、SLO...AI资讯分类技术资讯# 推理# 智能体# 论文/研究2个月前06720
OpenAI 发布 GPT-5.6 模型家族:Sol、Terra 与 Luna一次用户交互轮次可能包含多次模型和工具的迭代。重复区域内的任何开销都可能被多次付出。 保留精确前缀以实现提示词缓存 第一个重要示例是负载均衡。在全球层面,我们根据地理位置、可用容量和加速器类型(运行模...AI资讯分类技术资讯# OpenAI# 推理# 模型发布3个月前06660
NVIDIA 如何用 NVLink Fusion 让定制 XPU 融入世界级 AI 工厂NVIDIA 推出 NVLink Fusion,将定制 XPU 接入其 NVLink 扩展域,使 XPU 间端到端延迟比基于现成以太网的方案低 3 倍、数据包速率高 10 倍。AI资讯分类技术资讯# 产品更新# 部署/工程2个月前06600
Apple Silicon 与 macOS 虚拟机:借助 Llama.cpp 实现 11–16 倍的 LLM 推理加速研究团队为 macOS 虚拟机中的 Metal 能力查询构建进程级兼容层,使 llama.cpp 能选用更新的 Metal 内核。在 M1 Ultra 上,TinyLlama 1.1B 的提示处理速度...AI资讯分类技术资讯# 推理# 论文/研究# 部署/工程3个月前06420
Git 大规模托管为何如此困难Git 的分布式设计使其大规模托管面临固有挑战:packfile 作为存储和网络传输的基础单元,在服务器端成为可用性与扩展性的瓶颈。业界曾尝试三种方案——分布式文件系统、分布式 packfile、分布...AI资讯分类技术资讯# 产品更新# 智能体# 编码3个月前06080
Claude Science 产品指南:面向生命科学研究的 AI 工作台Anthropic 发布 Claude Science(测试版),一个覆盖生命科学数字化流程的 AI 工作台,支持数据分析、图表生成与结果产出,并可通过本地守护进程将重任务调度至自有 GPU、SLUR...AI资讯分类技术资讯# Anthropic# 产品更新# 部署/工程3个月前06020
教程:用 Antigravity SDK 与 Google Cloud 构建自主财务审计智能体团队本教程演示如何用 Google Antigravity SDK 与 Google Cloud 构建多智能体财务对账系统,将供应商交易与 PDF 发票核对。系统由审计编排器、数据研究员、发票分析器和对账...AI资讯分类技术资讯# Google# 教程/实践# 智能体3个月前06010