CTIBench：用真实网络威胁情报任务评测 LLM，专访 Nidhi Rastogi
罗切斯特理工学院助理教授 Nidhi Rastogi 发布 CTIBench，一个面向真实网络威胁情报（CTI）任务的大语言模型评测基准，用于衡量 LLM 完成网络安全分析师实际工作的能力。她指出 RAG 等技术对让 LLM 跟上新兴威胁至关重要，并分享了多项 LLM 的评测结果，以及基准在暴露模型局限与盲区上的作用。
#RAG
#RAG
今日 0 条The TWIML AI PodcastAI 评分2626
The TWIML AI PodcastAI 评分3636 Chroma 研究员 Kelly Hong 谈生成式基准测试：用合成数据评估 RAG 检索系统
Chroma 研究员 Kelly Hong 提出"生成式基准测试"（Generative Benchmarking），用合成数据评估 RAG 等检索系统。该方法分两步：先筛选文档聚焦相关内容，再生成模拟真实用户行为的查询。她指出 MTEB 等传统基准无法反映真实查询模式，在公开基准上表现优异的嵌入模型在生产环境中往往表现不佳。