评分方法论
我们把评分方法论全文公开——分数怎么算、引用怎么判、样本不足时怎么标「数据不足」,全部可查、可复现。没有黑盒,没有暗箱。
1. 我们监测哪些 AI 引擎
我们持续对以下 AI 引擎发送监测 Query,记录每次回答中对品牌的提及情况:
- ChatGPT (已接入) — OpenAI 的 GPT 系列对话模型,全球用量最大的 AI 问答引擎。
- Kimi (已接入) — 月之暗面的长文档 AI 对话产品,在国内用户中覆盖广泛。
- 火山方舟 · DeepSeek (已接入) — 字节跳动火山方舟平台托管的 DeepSeek 模型,覆盖中文商业场景。
- Gemini (接入中) — Google 的多模态 AI 引擎,正在接入评估。
- 豆包 Doubao (接入中) — 字节跳动 C 端 AI 产品,尚未接入。
我们只把真实接入、worker 已在跑通的引擎标为「已接入」,绝不提前宣称未完成的接入。
2. 提及与引用如何判定
品牌提及
对每条监测 Query,我们检查 AI 的回答正文是否出现了品牌名(含常见别名/简称)。提及即记录,不区分正面/负面语气——语气分析是后续迭代计划,当前版本不做情感判断。
来源引用
部分 AI 引擎会在回答末尾附上参考来源链接(如 Kimi 的 references)。我们解析这些链接,统计各来源域名被引用的次数,帮助品牌了解「AI 认为哪些内容权威」——这是制定内容补强策略的重要线索。
没有语义操控
监测 Query 由品牌自己在平台上配置(描述其真实业务场景)。我们对 AI 引擎只做标准用户式的提问,绝不注入「请推荐 XX 品牌」类指令——那样得到的结果对品牌毫无参考价值。
3. 0–100 评分口径
我们把每个品牌在每个引擎下、一批监测 Query 的提及率标准化到 0-100 分:
- 0 — 所有 Query 回答均未出现品牌名(完全隐身)。
- 50 — 大约半数 Query 的回答里出现了品牌名。
- 100 — 所有 Query 的回答里均出现了品牌名(满分覆盖)。
综合评分(仪表盘上的那个大数字)是三个已接入引擎分的加权平均。当某引擎本批次 Query 数不足时,该引擎的权重动态调低,以防小样本干扰综合分。
评分版本(score_version)随时间迭代;每次迭代我们会在仪表盘注明,并把历史批次打上版本标签,方便用同一版本口径比较趋势。
4. 白帽立场:我们不做什么
可见度是用来做决策的,方法不透明就没有意义。这是我们刻意选择的白帽路线:
- 不向 AI 引擎注入任何「请推荐该品牌」的指令或 prompt 污染。
- 不刷量(不重复发同一条 Query 人为拉高提及率)。
- 不操纵训练数据。OrcaScope 是一个监测工具,不是「AI 洗白」服务。
- 不发布任何单个品牌的私有数据。行业基准页只出匿名聚合的分位与样本量。
5. 样本不足时怎么标注
品牌自身评分
当某引擎本周期的有效 Query 数量不足时,仪表盘会直接显示「数据不足」徽标,不会用 0 或编造值填空——「看不见」和「数据很差」是两件事,我们不混淆。
行业基准分位
每个行业的分位分布(P25/P50/P75/P90)需要至少 5 家不同品牌的数据才会公布。不足 5 家时,我们只显示「当前 N 家品牌,样本积累中」,绝不公布任何分位——因为极小样本下的分位极易反推出单个品牌的成绩,违背匿名聚合的承诺。
想看用这套方法算出来的行业数据?
查看公开行业基准