开源引擎可在任何 M 系列 Mac 上以 2 GB 内存运行 Gemma 4 26B一个开源引擎让 Gemma 4 26B 模型能在任何 M 系列 Mac 上运行,仅需 2 GB 内存。该项目已发布在 GitHub 上,大幅降低了本地运行大语言模型的硬件门槛。AI资讯分类技术资讯# 开源/仓库# 端侧# 部署/工程3个月前03020
Meta 广告排序的多阶段序列模型:从用户序列到 LLM 式扩展定律Meta 推出多阶段序列模型,将离线用户建模与在线排序解耦,并采用密集 token 化与目标感知注意力,使序列学习具备可预测的 LLM 式扩展定律。该架构已为 Instagram 转化率带来 6% 的...AI资讯分类技术资讯# Meta# 产品更新# 数据/训练3个月前02180
OpenRouter 推出 Activity 仪表盘与 Analytics API:按智能体、模型、请求追踪 AI 使用成本面向智能体 在 Discord 的 #feedback 频道告诉我们你还想看到什么功能。 打开日志中的任意一行,即可查看 Generation 详情视图。它显示: Explore 中的所有内容也可以通...AI资讯分类技术资讯# 产品更新# 智能体# 部署/工程3个月前08240
Google Cloud 在 Cloud TPU 上为长上下文多模态嵌入推理实现企业级精度Google Cloud 将原生 TPU 支持集成进 vLLM,并针对 Qwen3 Embedding 模型系列优化,在 Cloud TPU 上实现长上下文(文本 4K+、多模态 15K+ token...AI资讯分类技术资讯# Google# 产品更新# 多模态2个月前05540
教程:用 Antigravity SDK 与 Google Cloud 构建自主财务审计智能体团队本教程演示如何用 Google Antigravity SDK 与 Google Cloud 构建多智能体财务对账系统,将供应商交易与 PDF 发票核对。系统由审计编排器、数据研究员、发票分析器和对账...AI资讯分类技术资讯# Google# 教程/实践# 智能体3个月前06010
统一 Radix 缓存:为混合模型前缀缓存构建单一树结构LMSYS 团队提出 Unified Radix Cache,用单一 token 键控 radix 拓扑统一管理混合模型的 FULL、SWA 和 MAMBA 组件缓存,各组件独立执行路径、滑动窗口和检...AI资讯分类技术资讯# 推理# 论文/研究# 部署/工程3个月前03660
Hugging Face 发布 LFM2.5 系列 DSpark 草稿模型,推理速度最高提升 3.18 倍Hugging Face 发布 LFM2.5 系列三款模型的 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下,GPU 吞吐最高提升 3.18 倍,端侧最高 2.87 倍。草稿模型约...AI资讯分类技术资讯# 推理# 模型发布# 部署/工程3个月前05560
在本地运行 Qwen3.8 27B:来自我的 Mac Studio 的实际数据Qwen3.8 27B(27.3B 参数,混合注意力架构,262,144 token 上下文窗口,Apache 2.0 开源)在 Mac Studio M3 Ultra 上经 Ollama 以 Q4...AI资讯分类技术资讯# 端侧# 评测/基准# 部署/工程2个月前03620
Claude-thermos:保持 Claude 会话缓存热度,避免重新编码费用Claude-thermos 通过本地反向代理监控 Claude Code 会话,在主智能体因等待子智能体而空闲超过 5 分钟时,自动发送预热请求刷新提示缓存。实测约 185 次本地会话中,缓存过期导...AI资讯分类技术资讯# 开源/仓库# 编码# 部署/工程4个月前05820
Anthropic 与成立仅数月的云初创公司 Volta 签署 100 亿美元算力协议Anthropic 与成立仅数月的云初创公司 Volta 签署 100 亿美元算力协议,约合每年 17 亿美元。Volta 估值 24 亿美元,硬件几乎全为租用:算力来自比特币矿商 Bitdeer 挪...AI资讯分类技术资讯# Anthropic# 行业动态# 部署/工程3个月前03910