腾讯混元开源 AngelSpec 投机解码框架腾讯混元开源端到端投机解码框架 AngelSpec,支持训练与部署。在 Hy3-A21B 模型上,其 DFly 方案相比自回归解码实现 1.98–2.40 倍端到端加速,吞吐量比 DFlash 高 1...AI资讯分类技术资讯# 开源/仓库# 推理# 部署/工程3个月前04500
DeepSeek V4 Pro 登陆硅基流动,1M 上下文DeepSeek-V4-Pro-0813 正式上线硅基流动 SiliconFlow,提供 Day-0 支持,具备 1M 上下文窗口及低/高/最大三档推理强度,更侧重编码、工具调用与智能体工作流,仍保持...AI资讯分类技术资讯# DeepSeek# 推理# 智能体3个月前04740
Rohan Paul 解读 OpenAI GPT-6 Astra 117 页系统卡中的安全发现Rohan Paul 梳理 OpenAI GPT-6 Astra 117 页系统卡的要点:Astra 控制自身链式思维的能力从 GPT-5.6 Sol 的 16.1% 跃升至 60.9%,可监控性相应...AI资讯分类技术资讯# OpenAI# 安全/对齐# 推理2个月前04120
NVIDIA Alpamayo 2 Super 开放商用,面向 Robotaxi 与自动驾驶的前沿开源模型NVIDIA Alpamayo 2 Super 现已开放商用,基于 Cosmos 3 Super Reasoner 构建,采用强化学习后训练,支持轨迹预测、因果链推理、元动作、自动标注及视觉问答等多任...AI资讯分类技术资讯# 具身智能# 开源生态# 推理3个月前02640
Hugging Face 发布 LFM2.5 系列 DSpark 草稿模型,推理速度最高提升 3.18 倍Hugging Face 发布 LFM2.5 系列三款模型的 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下,GPU 吞吐最高提升 3.18 倍,端侧最高 2.87 倍。草稿模型约...AI资讯分类技术资讯# 推理# 模型发布# 部署/工程3个月前05560
Noam Brown 评 OpenAI 用智能体求解 Navier-Stokes 千禧年难题:成本会快速下降Noam Brown 就 OpenAI 宣布以智能体组合求解 Navier-Stokes 千禧年大奖难题发表看法,承认这次证明花费数百万美元,但认为成本会快速下降。AI资讯分类技术资讯# OpenAI# 大佬观点# 推理2个月前06080
统一 Radix 缓存:为混合模型前缀缓存构建单一树结构LMSYS 团队提出 Unified Radix Cache,用单一 token 键控 radix 拓扑统一管理混合模型的 FULL、SWA 和 MAMBA 组件缓存,各组件独立执行路径、滑动窗口和检...AI资讯分类技术资讯# 推理# 论文/研究# 部署/工程3个月前03660
Infer-forge:围绕 SGLang 的 Harness、Loop 与 Graph 工程Infer-forge 是一套围绕 SGLang 推理优化的内部工程系统,通过 MonoRepo、Harness、Task Loop 与 Task Graph 四种结构,将部署点约束链(模型、SLO...AI资讯分类技术资讯# 推理# 智能体# 论文/研究2个月前06720
在 M1 Max 上运行 2.8T 参数的 Kimi K3:Deltafin 项目实现 0.0687 token/s 推理Deltafin 项目成功在 64 GB M1 Max 上运行了 2.8T 参数的 MoE 模型 Kimi K3,当前中位推理速度为 0.0687 token/s(14.6 秒/token)。完整安装...AI资讯分类技术资讯# 开源/仓库# 推理# 端侧3个月前04720
Gemini 3.7 Flash 全面上线 Pro 与 Ultra 用户Gemini 3.7 Flash 现已向 Gemini 聊天中的 Pro 和 Ultra 用户开放。该模型更新提升了多步骤任务的推理与准确性,如智能整合数十个文件和邮件为一份主文档。同时,Gemini...AI资讯分类技术资讯# Google# 推理# 模型发布3个月前06980