驯服扩散 Transformer 中的离群 token:Dual-Stage Registers 干预研究发现扩散 Transformer(DiT)图像生成流程中,预训练 ViT 编码器和 DiT 去噪器均会产生离群 token,尤其在中间层,且简单掩蔽高范数 token 无法改善性能,问题与局部 p...AI资讯分类技术资讯# 图像生成# 数据/训练# 论文/研究3个月前05860
数据约束下的混合预训练缩放定律苹果机器学习研究团队通过2000余次语言模型训练实验,系统研究了稀缺目标数据与通用数据混合预训练中的权衡问题。研究发现,目标数据占比过低会导致模型对目标领域暴露不足,而占比过高则因重复样本过多引发收益...AI资讯分类技术资讯# 数据/训练# 论文/研究3个月前05580
用 Sentence Transformers 训练与微调多向量嵌入模型Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder,支持 ColBERT 风格的后交互检索,并配套完整训练流程。AI资讯分类技术资讯# Hugging Face# 教程/实践# 数据/训练2个月前05460
蚂蚁百灵与 ASystem 团队打通单机 Agentic RL 后训练闭环蚂蚁百灵与 ASystem 团队合作,用 Ling-3.0-tiny 和 AReno 在 DGX Spark 上跑通单机 Agentic RL 后训练闭环。以井字棋为最小验证任务,用 GSPO 算法训...AI资讯分类技术资讯# 开源生态# 教程/实践# 数据/训练3个月前05460
Anthropic 发布经济情景模型,推演 AI 对 2030 年美国就业与工资的影响Anthropic 经济团队基于技术报告《Economic Scenarios for Transformative AI》发布交互式经济情景探索工具,把经济表示为任务束,推演 AI 到 2030 年...AI资讯分类技术资讯# Anthropic# 数据/训练# 现象/趋势2个月前05420
Soup v0.72.4:在4 GB显存笔记本GPU上微调8B模型Soup 推出 v0.72.4,支持在配备 4 GB 显存的笔记本 GPU 上通过 QLoRA 微调 8B 模型,无需 SSH 或云服务。AI资讯分类技术资讯# 产品更新# 开源生态# 数据/训练3个月前05350
404 Media 追踪珍本图书流向:亚马逊批量购书扫描用于 AI 训练后销毁404 Media 通过在一本珍本图书中放置追踪设备,首次揭露亚马逊未公开的购书行动:批量购入大量书籍,扫描用于 AI 训练数据,随后销毁。追踪显示这些书最终被送往亚马逊的一处人工智能训练中心。AI资讯分类技术资讯# 数据/训练# 现象/趋势3个月前05320
英伟达 2027 财年半年报归母净利润 1180.1 亿美元,同比增长 161.1%英伟达发布 2027 财年半年报,上半年营收 1778.37 亿美元,归母净利润 1180.1 亿美元,同比增长 161.1%,GAAP 毛利率 75%。第二财季营收 962.21 亿美元,同比增长 ...AI资讯分类技术资讯# 推理# 数据/训练# 行业动态2个月前05060
IFM 发布 K2 Horizon 六款开源模型,覆盖 0.9B 到 375B-A23B 并开放完整训练生命周期IFM 发布 K2 Horizon 模型系列,共六个模型:375B-A23B、36B-A4B、32B、7B、3.7B 和 0.9B,均以 Apache 2.0 开源,其中 0.9B、3.7B 和 7B...AI资讯分类技术资讯# 开源生态# 推理# 数据/训练2个月前05040
我国日均词元调用量突破 500 万亿,中国大模型稳居全球第一梯队截至 2026 年 6 月,我国日均词元调用量已突破 500 万亿,中国大模型在全球竞争中位居第一梯队。当前旗舰模型几乎以月为单位更新,竞争焦点转向智能体落地与生态建设,推理算力需求随之爆发。腾讯混元...AI资讯分类技术资讯# 推理# 数据/训练# 现象/趋势2个月前05040