H Company Releases NeoMME: A Family of 260M and 800M Single-Tower Multimodal Encoders That Drop the Vision Tower and Causal Decoder

📋总体概括

H 公司发布 NeoMME 多模态编码器系列，包含 260M 与 800M 两种规格的双向编码器。其最大特点是抛弃了预训练视觉塔与因果解码器，在单一 Transformer 中同时处理多语言文本 token 与 32×32 原始图像块，采用掩码离散扩散预训练目标，并配备稠密与 late-interaction 双检索头。在 ViDoRe v3 视觉文档检索基准上，260M 模型达到 0.523 nDCG@10，索引压缩达 255 倍，单张 L40S 上索引吞吐为每秒 51.3 页，但作者也承认纯文本检索仍存在差距。