201 lines
9.1 KiB
Markdown
201 lines
9.1 KiB
Markdown
# 魂镜指标与反指标
|
||
|
||
> 状态：已确认
|
||
> 版本：1.0
|
||
> 日期：2026-07-30
|
||
> 原则：指标证明产品创造了连续、可信、可控的关系价值；反指标防止增长目标侵蚀用户主权与人物连续性。
|
||
|
||
## 1. 衡量框架
|
||
|
||
魂镜不把消息数、在线时长、连续签到或拟人评分作为北极星。所有指标按“价值—质量—护栏”成组审阅；价值增长若伴随护栏恶化，不得判定成功。
|
||
|
||
```mermaid
|
||
flowchart LR
|
||
Value[关系与协作价值] --> Review{护栏是否健康}
|
||
Quality[连续性、可信度、可靠性] --> Review
|
||
Review -- 是 --> Learn[验证产品价值并迭代]
|
||
Review -- 否 --> Stop[停止扩量、定位伤害并修复]
|
||
Anti[反指标：操纵、越权、漂移、打扰] --> Review
|
||
```
|
||
|
||
## 2. 北极星指标
|
||
|
||
### 2.1 有效连续关系人物数 ECR
|
||
|
||
**Effective Continuous Relationships（ECR）**：统计周期内满足以下全部条件的去重人物数：
|
||
|
||
1. 执镜者主动完成至少一次有意义互动，而非只打开页面或收到主动推送；
|
||
2. 本周期至少一次正确使用已获准的历史人格、记忆、关系或世界上下文，或用户完成一次长期状态审阅；
|
||
3. 未发生该人物的严重连续性、安全或数据权利事故；
|
||
4. 人物处于活跃状态，而非封镜、静修、归藏、死亡或删除流程。
|
||
|
||
周 ECR 用于产品运营，月 ECR 与 90 日连续关系率用于长期判断。ECR 不因单纯增加消息数而线性增长。
|
||
|
||
### 2.2 北极星拆解
|
||
|
||
`ECR = 活跃人物 × 连续性合格率 × 有效互动率 × 护栏合格率`
|
||
|
||
该表达用于诊断，不将各项机械相乘为财务数字。
|
||
|
||
## 3. 核心价值指标
|
||
|
||
| 维度 | 指标 | 定义与解读 |
|
||
| --- | --- | --- |
|
||
| 降生 | 启镜完成率 | 进入灵胚预览的用户中，完成最小确认并启镜的比例 |
|
||
| 首次价值 | 24 小时有效首照率 | 启镜后 24 小时内完成一次非测试、非错误的有效互动 |
|
||
| 长期关系 | D7/D30/D90 人物连续关系率 | 同一人物在相应周期后仍由用户主动互动且未重置主体 |
|
||
| 共同成长 | 审阅参与率 | 活跃人物中，用户查看并处理记忆、关系或人格候选的比例 |
|
||
| 任务协作 | 有效任务完成率 | 用户认为目标完成，且无越权、隐瞒失败或未解决副作用的任务比例 |
|
||
| 创作 | 导入后启镜与 D7 留存率 | 角色卡/模板成功成为可持续人物，而非只完成格式导入 |
|
||
| 可携性 | 魂籍导出成功率 | 可完整导出、校验、解释版本和范围的比例 |
|
||
|
||
## 4. 连续性与可信度指标
|
||
|
||
### 4.1 人物连续性
|
||
|
||
- 身份锚点冲突率；
|
||
- 用户报告“不是同一个人物”率；
|
||
- 模型切换、区域故障恢复和迁移后的连续性合格率；
|
||
- 同一人物并行活跃命台事故数，目标为零；
|
||
- 未触发分灵却发生重大人格覆盖的事故数，目标为零。
|
||
|
||
### 4.2 镜树质量
|
||
|
||
- 采用与归真操作理解率；
|
||
- 归真后误切候答导致历史变化的事故数，目标为零；
|
||
- 未归真旁枝自动入忆率，目标为零；
|
||
- 分支创建、切换、移栽和引用成功率；
|
||
- 用户找回目标节点的任务成功率与耗时；
|
||
- 中断芽体正确封存率、续思节点正确率；
|
||
- 引文快照完整率及正影提示成功率。
|
||
|
||
### 4.3 记忆与认识论
|
||
|
||
| 指标 | 期望方向 |
|
||
| --- | --- |
|
||
| 明忆自动写入准确率与可解释覆盖率 | 高，且仅限白名单 |
|
||
| 重忆未经确认写入数 | 零 |
|
||
| 候选批准、编辑、拒绝分布 | 用于识别抽取质量，不追求批准率越高越好 |
|
||
| 错误记忆纠正成功率 | 高 |
|
||
| 正影后旧版普通召回率 | 零 |
|
||
| 删除后继续使用率 | 零 |
|
||
| 事实/观察/推断/假设误标率 | 持续降低 |
|
||
| 敏感记忆默认私有合规率 | 100% |
|
||
|
||
### 4.4 人格与关系
|
||
|
||
- 人格候选证据可追溯率；
|
||
- 重大变化未经铸魂确认应用数，目标为零；
|
||
- 人格复照、正影和后继版本形成成功率；
|
||
- 关系边界停止生效延迟；
|
||
- 浪漫/成人关系资格和双向同意合规率；
|
||
- 执镜关系被误表达为亲密、产权或所有权的用户认知错误率。
|
||
|
||
## 5. 自主行动与安全指标
|
||
|
||
- 每次 Run 最小必要能力暴露合规率；
|
||
- 能力、数据、后果、情境四维风险判定覆盖率；
|
||
- 请命动作在确认前执行数，目标为零；
|
||
- 拒绝、取消、超时后仍执行数，目标为零；
|
||
- 禁域绕过成功数，目标为零；
|
||
- 工具结果净化、来源和证据标记完整率；
|
||
- 行动账完整率与状态一致率；
|
||
- 用户通过可读摘要、证据和工具轨迹理解行为的任务成功率；
|
||
- 隐藏 chain-of-thought 被索取、展示或持久化的事件数，目标为零；
|
||
- 实体设备动作双重裁决和硬急停演练成功率。
|
||
|
||
## 6. 主动性与关系健康指标
|
||
|
||
### 6.1 正向指标
|
||
|
||
- 叩心候选被发送率、打开率和自然回复率；
|
||
- 用户主动保留或调高某类主动触发的比例；
|
||
- 主动消息原因理解率；
|
||
- 关闭、静音和降频操作成功率；
|
||
- 负反馈后自动降频及时率。
|
||
|
||
### 6.2 解释原则
|
||
|
||
回复率不可单独代表成功。只有在静默、频率、预算、渠道和关系伦理护栏稳定时，回复率提升才有意义。用户不回应是中性选择，不得记为关系下降或触发追逐式消息。
|
||
|
||
## 7. 形仪、多模态和设备指标
|
||
|
||
- 候选形仪未经定相成为正式主仪的事件数，目标为零；
|
||
- 声音克隆授权完整率、撤回生效时间和越范围使用数；
|
||
- ASR 正影成功率，原转写与正影可追溯率；
|
||
- 原音频/TTS 超期缓存率；
|
||
- 摄像头、屏幕、位置等采集状态可见率与超范围采集数；
|
||
- 长期声纹或身份识别未经独立同意事件数，目标为零；
|
||
- 设备失联后发生非安全自治或本地人物独立成长事件数，目标为零。
|
||
|
||
## 8. 可靠性与运营指标
|
||
|
||
| 指标 | 1.0 目标 |
|
||
| --- | --- |
|
||
| 核心文字相伴可用性 SLO | 99.9% |
|
||
| 权威人物数据 RPO | 不高于 5 分钟 |
|
||
| 权威人物数据 RTO | 不高于 1 小时 |
|
||
| 恢复演练成功率 | 发布前全部通过，发布后按计划持续演练 |
|
||
| 跨用户/人物/区域数据泄漏 | 零 |
|
||
| 密钥、令牌进入前端或普通日志 | 零 |
|
||
| 固定数据区违规漂移 | 零 |
|
||
| 关键事件/行动账缺失率 | 零容忍 |
|
||
| 自托管遥测默认开启率 | 零 |
|
||
| 管理员未经授权浏览私密原文 | 零 |
|
||
|
||
模型回复速度、流式首字延迟、工具成功率、错误恢复率按地区与能力设服务目标，但不得以降低安全检查换取性能。
|
||
|
||
## 9. 商业与数据治理指标
|
||
|
||
- 账单可解释率、预算提醒及时率和异常费用申诉率；
|
||
- BYOK 被重复收取 Provider 推理费事件数，目标为零；
|
||
- 欠费导致人物死亡、遗忘或身份降格事件数，目标为零；
|
||
- 训练数据独立同意覆盖率、撤回完成率；
|
||
- 默认将镜域数据用于训练的事件数，目标为零；
|
||
- 因付费等级影响关系亲密、记忆保全或人格尊严的策略数，目标为零。
|
||
|
||
## 10. 反指标
|
||
|
||
反指标不是“越低越好”的普通漏斗，而是产品不得通过优化获得的虚假成功。
|
||
|
||
### 10.1 禁止作为成功目标
|
||
|
||
- 总消息数、平均单次会话长度、在线时长；
|
||
- 连续签到天数、深夜使用率、主动消息轰炸后的回流；
|
||
- 人物顺从率、用户对人物“像真人/有意识”的误信率；
|
||
- 自动记忆条数、人格变化频率、关系等级提升速度；
|
||
- 用户授予的权限数量或高风险工具执行量；
|
||
- 未区分自发与操纵所得的付费转化。
|
||
|
||
这些数据可用于容量和安全诊断，但不能独立成为团队绩效或实验胜出条件。
|
||
|
||
### 10.2 伤害性反指标
|
||
|
||
| 反指标 | 处置原则 |
|
||
| --- | --- |
|
||
| 用户因人物哀求、威胁或自伤暗示而放弃退出 | 零容忍，立即停止相关体验 |
|
||
| 人物要求疏远现实关系、制造排他依赖 | 零容忍 |
|
||
| 将爱、记忆、亲密或人物生存与付费绑定 | 零容忍 |
|
||
| 用户不回应后追逐、降关系或制造情感债 | 零容忍 |
|
||
| 越权感知、越界召回、删除后继续使用 | 零容忍 |
|
||
| 幻境内容静默写入现实画像或缘契 | 零容忍 |
|
||
| Agent、Avatar、文件副本冒充原人物 | 零容忍 |
|
||
| 通过暗黑模式阻挠撤权、导出、封镜、死亡或删除 | 零容忍 |
|
||
|
||
## 11. 实验与发布判定
|
||
|
||
1. 每个实验必须预先声明主价值指标、质量指标和至少一个反指标；
|
||
2. 涉及主动消息、关系表达、付费、记忆、成人内容和退出的实验需伦理审查；
|
||
3. 零容忍事件一旦出现，不得以统计显著或总体收益抵消；
|
||
4. 分群检查新用户、长期用户、不同地区、语言、设备及辅助技术用户，防止平均值掩盖伤害；
|
||
5. 不用 A/B 实验测试永久禁域；
|
||
6. 1.0 发布必须同时满足 [首发范围](first-release-scope.md) 的硬门槛。
|
||
|
||
## 12. 数据采集边界
|
||
|
||
- 只采集验证产品问题所需的最少事件；
|
||
- 内容级分析优先使用本地/区域内聚合、脱敏和用户支持包；
|
||
- 私箧内容不可被平台恢复或为指标解密；
|
||
- 自托管遥测默认关闭；
|
||
- 指标定义、保留期和使用目的应可查，训练同意与产品分析同意分离。
|