Chroma 研究员 Kelly Hong 谈生成式基准测试：用合成数据评估 RAG 检索系统

Chroma 研究员 Kelly Hong 提出"生成式基准测试"（Generative Benchmarking），用合成数据评估 RAG 等检索系统。该方法分两步：先筛选文档聚焦相关内容，再生成模拟真实用户行为的查询。她指出 MTEB 等传统基准无法反映真实查询模式，在公开基准上表现优异的嵌入模型在生产环境中往往表现不佳。