AirLLM 实现单块 4GB GPU 运行 70B 模型推理AirLLM 项目支持在单块 4GB 显存 GPU 上运行 70B 参数大模型推理,无需多卡或大规模显存配置。该项目已开源,相关讨论在 Hacker News 上获得 103 点热度,引发社区关注。AI资讯分类技术资讯# 开源/仓库# 端侧# 部署/工程3个月前03000
腾讯混元开源 AngelSpec 投机解码框架腾讯混元开源端到端投机解码框架 AngelSpec,支持训练与部署。在 Hy3-A21B 模型上,其 DFly 方案相比自回归解码实现 1.98–2.40 倍端到端加速,吞吐量比 DFlash 高 1...AI资讯分类技术资讯# 开源/仓库# 推理# 部署/工程3个月前04500
OpenClaw 走红后,维护者如何构建并保障其安全OpenClaw 是 Peter Steinberger 于 2025 年 11 月发起的个人 AI 助手项目,截至 2026 年 8 月已获约 388,000 星标、81,000 fork 和超 8...AI资讯分类技术资讯# 开源/仓库# 开源生态# 智能体2个月前03840
Mojo 语言正式开源,编译器与工具链全面开放Mojo🔥 语言现已正式开源,采用 Apache 2.0 许可证(含 LLVM 例外),编译器、工具链及全部源码已发布至 modular GitHub 仓库。Mojo 上周刚达成 1.0 版本(源码稳...AI资讯分类技术资讯# 开源/仓库# 开源生态# 部署/工程3个月前04720
Thinking Machines 发布开源权重模型 Inkling 与 Inkling-Small 的安全路径Thinking Machines 发布开源权重模型 Inkling 和 Inkling-Small,称安全发布取决于模型本身及生态系统的准备度。公司通过内部评估、四家独立机构外部测试及微调研究验证...AI资讯分类技术资讯# 安全/对齐# 开源/仓库# 现象/趋势3个月前04860
Kimi 发布视觉感知基准 PerceptionBenchKimi.ai 发布 PerceptionBench,一个从当前前沿模型在 42 个基准上的失败模式中归纳出的视觉感知基准。该基准将视觉感知拆解为 10 种原子能力,并构建了 3000 道验证题,每道...AI资讯分类技术资讯# Hugging Face# 多模态# 开源/仓库3个月前04680
Google 发布开源 C++ 库 Credentio,用于 C2PA 内容凭证验证Google 发布开源 C++ 库 Credentio,支持在客户端和服务器应用中集成高性能、本地优先的 C2PA 内容凭证验证。该库以优化的内存占用完全本地处理资产,可为数 GB 级媒体文件提供即时...AI资讯分类技术资讯# Google# 安全/对齐# 开源/仓库3个月前05060
AI 工程师笔记本:在 Colab 上免费、无需框架即可使用 RAG/智能体/评估工具一套可运行的 Colab 笔记本,面向 AI 工程师与 FDE 技能栈,用原始 API 而非框架构建基于基础模型的系统,覆盖提示词、RAG、评估、智能体、微调与服务化。全部在免费 Groq API 上...AI资讯分类技术资讯# 开源/仓库# 智能体2个月前03760
Swiftlet:在 Mac 上运行 80B 版 Qwen(内存 4.3 GB),在 iPhone 上运行 35B 版Swiftlet 是一个 Swift + Metal 运行时,可在普通 Apple 设备上运行 Qwen3-Next 和 Qwen3.5/3.6 MoE 混合模型,仅将小型稠密核心驻留内存,按需从存储...AI资讯分类技术资讯# 产品更新# 开源/仓库# 推理3个月前03850
开源引擎可在任何 M 系列 Mac 上以 2 GB 内存运行 Gemma 4 26B一个开源引擎让 Gemma 4 26B 模型能在任何 M 系列 Mac 上运行,仅需 2 GB 内存。该项目已发布在 GitHub 上,大幅降低了本地运行大语言模型的硬件门槛。AI资讯分类技术资讯# 开源/仓库# 端侧# 部署/工程3个月前03620