Soup v0.72.4:在4 GB显存笔记本GPU上微调8B模型Soup 推出 v0.72.4,支持在配备 4 GB 显存的笔记本 GPU 上通过 QLoRA 微调 8B 模型,无需 SSH 或云服务。AI资讯分类技术资讯# 产品更新# 开源生态# 数据/训练3个月前05350
AirLLM 实现单块 4GB GPU 运行 70B 模型推理AirLLM 项目支持在单块 4GB 显存 GPU 上运行 70B 参数大模型推理,无需多卡或大规模显存配置。该项目已开源,相关讨论在 Hacker News 上获得 103 点热度,引发社区关注。AI资讯分类技术资讯# 开源/仓库# 端侧# 部署/工程3个月前03000
MiniMax-H3 通过 MLX 移植可在 Apple Silicon 上运行MiniMax 发布 MiniMax-H3,一个可接受文本、图像、音频和视频并生成最长 15 秒带音频视频片段的通用全模态生成系统。Python 包 PipeNetwork/minimax-h3-ml...AI资讯分类技术资讯# 教程/实践# 端侧# 视频3个月前04210
Apple 发布首款折叠屏 iPhone Duo,起售价 $1,999Apple 发布首款折叠屏 iPhone Duo,展开为 7.6 英寸内屏,合盖后为 5.4 英寸外屏,提供 iPhone 上最大显示面积。搭载 A20 Pro 芯片和蒸汽室散热,iPhone 17 ...AI资讯分类技术资讯# 产品更新# 多模态# 端侧2个月前05220
Apple 发布搭载全新 M6 与 M5 Pro 芯片的 Mac miniApple 推出搭载全新 M6 与 M5 Pro 芯片的新款 Mac mini,M6 版本 AI 性能最高提升 4 倍、CPU 性能提升 40%,支持 Wi-Fi 7 与蓝牙 6。AI资讯分类技术资讯# 产品更新# 端侧2个月前03540
在 M1 Max 上运行 2.8T 参数的 Kimi K3:Deltafin 项目实现 0.0687 token/s 推理Deltafin 项目成功在 64 GB M1 Max 上运行了 2.8T 参数的 MoE 模型 Kimi K3,当前中位推理速度为 0.0687 token/s(14.6 秒/token)。完整安装...AI资讯分类技术资讯# 开源/仓库# 推理# 端侧3个月前04720
WhatsApp 如何用端到端加密与可验证性构建 Scam Alert 诈骗提醒功能WhatsApp 推出可选功能 Scam Alert,通过端到端加密保护下在设备端运行机器学习模型,识别潜在诈骗消息,且消息内容不会离开设备或自动上报。该功能遵循仅设备端处理、无自动上报、用户控制三大...AI资讯分类技术资讯# Meta# 产品更新# 安全/对齐3个月前04860
在单颗 AMD MI300X 上运行 DeepSeek V4 Flash一个开源仓库提供了在单颗 AMD MI300X 上生产运行 DeepSeek-V4-Flash-0731 的完整配置与补丁,无需额外量化或权重卸载。该 304B 参数模型在 192 GB HBM 上实...AI资讯分类技术资讯# DeepSeek# 开源/仓库# 端侧3个月前04900
Swiftlet:在 Mac 上运行 80B 版 Qwen(内存 4.3 GB),在 iPhone 上运行 35B 版Swiftlet 是一个 Swift + Metal 运行时,可在普通 Apple 设备上运行 Qwen3-Next 和 Qwen3.5/3.6 MoE 混合模型,仅将小型稠密核心驻留内存,按需从存储...AI资讯分类技术资讯# 产品更新# 开源/仓库# 推理3个月前03850
Ling-3.0-tiny 正式开源:1.3B 激活参数如何进入真实任务蚂蚁百灵开源 Ling-3.0-tiny,一款总参数 7.9B、推理时仅激活 1.3B 参数的原生混合推理模型,同步提供 BF16、FP8 和 INT4 三个版本。AI资讯分类技术资讯# 开源生态# 推理# 智能体3个月前04500