0 Fork 0

Files

T

chenxin 42513d13c6 📝 docs: 建立魂镜完整 1.0 设计文档体系

- 产品层：产品宪章与永久禁域、产品定义、完整 1.0 范围与发布门、道家文化语言体系、指标与反指标
- 研究层：参考项目研究（deepseek-harness、pi、MemOS、模型网关）、灵台原生引擎研究（业界原生引擎架构理念与道家文化出处）
- 架构层：系统、Agent 运行时（周天体系）、插件系统、灵台引擎（C++ 双形态）、媒体与设备、社区协作市场、前端富内容渲染、数据、记忆与知识
- 契约层：协议与稳定标识、API 总体约定、Native API、兼容网关、实时与 Webhook、内部端口、统一 ContentBlock 与流式（含分支对话交互态）、灵台 C ABI 与 gRPC Service、API 表面、HTTP 与事件、运行观测
- 决策：ADR-001 至 ADR-023（模块化单体、每 attempt 持久化、候选记忆、OAuth 2.1、灵台引擎、双形态部署、大周天演化、宪章、三界作用域、私箧与保全态、叩心、周天统一等）
- 交付：WP-01 至 WP-15 实施 TODO 与设计阶段交接文档
- 工程：AGENTS.md 工程规则（含 C++/灵台规范）、CLAUDE.md 引用、.gitignore

2026-09-09 21:07:14 +08:00

4.5 KiB

Raw Permalink Blame History

媒体、Avatar 与设备架构

1. 范围

完整 1.0 支持文字、图像、音频、实时语音、Live2D、3D Avatar，以及 Web、Tauri 桌面和 Tauri 移动端的文件、相机、麦克风、屏幕与位置能力。

2. 媒体处理

flowchart LR
  IN[Upload or Capture] --> CONSENT[Consent and Scope]
  CONSENT --> SCAN[Safety and Malware Scan]
  SCAN --> STORE[(Original Object)]
  STORE --> JOB[Media Job]
  JOB --> DERIVE[Transcode, ASR, Generate, Rig]
  DERIVE --> REVIEW[User Review]
  REVIEW --> ASSET[Versioned Character Asset]
  ASSET --> RENDER[Client Avatar Runtime]

原始媒体、派生媒体、缩略图、转写和模型输入分别记录来源与保留期。
媒体任务异步执行，支持进度、取消、失败重试和幂等。
生成或编辑结果先是候选，用户采用后才成为角色正式资产版本。
文件名、MIME、实际内容、尺寸和许可都要验证。

3. 语音

3.1 能力

上传音频和语音消息；
流式或分段 ASR；
TTS 流式合成；
WebSocket 实时语音会话；
打断、端点检测、字幕、语言检测和切换；
预设声音、原创声音设计和授权声音克隆；
原音频与 TTS 默认短期缓存，ASR 原转写与正影文本并存；多说话者默认匿名分段，长期声纹与身份识别需独立同意；不承诺持续监听或电话级全双工。

3.2 实时链路

sequenceDiagram
  participant C as Client
  participant G as Realtime Gateway
  participant A as ASR
  participant R as Agent Runtime
  participant T as TTS

  C->>G: audio frames
  G->>A: authorized audio stream
  A-->>G: transcript deltas
  G->>R: finalized user segment
  R-->>G: text deltas
  G->>T: speakable text
  T-->>G: audio frames
  G-->>C: text and audio events
  C->>G: interrupt
  G->>R: cancel current generation
  G->>T: stop synthesis

音频原文默认短期保留；转写纠正创建新版本。声音克隆必须绑定授权主体、用途、期限、传播范围和撤回状态。

4. 图像与角色一致性

文生图、图生图、局部重绘、背景去除、分层和风格参考；
角色稳定外观参考与可变属性分离；
每次生成保存模型、提示摘要、来源资产、许可和安全结果；
社区/市场发布前检查现实人物、版权、成人内容和来源许可。

5. Live2D

1.0 包含：

Cubism-compatible 模型导入和校验；
图像分层辅助和候选导出；
参数、表情、口型、视线、物理和动作映射；
可视化参数编辑、预览和版本；
Web/Tauri 运行时；
标准资源导出。

不重做 Cubism Editor 的全部专业绘制和网格编辑功能。

6. 3D

1.0 采用开放格式和非破坏编辑：

VRM/glTF 导入、验证和标准化；
材质、纹理、骨骼、BlendShape/表情映射；
动作库、动画状态、口型、视线和实时姿态；
灯光、相机、环境和场景对象编辑；
角色附件、服饰挂点和版本；
WebGPU/WebGL 与 Tauri Runtime；
VRM/glTF 导出和来源清单。

2.0 才引入完整网格建模、雕刻、拓扑、绑定和 LLM 直接修改几何/绑定。1.0 的编辑命令和版本历史必须可扩展到该能力。

7. 设备授权

device_grant 至少绑定：

user、device、character；
capability：file/camera/microphone/screen/location/notification；
purpose、scope、precision；
granted/started/expires/revoked 时间；
foreground/background 限制；
retention 与 derived-use 策略。

7.1 规则

默认关闭；首次使用由系统权限和产品确认共同授权。
相机、麦克风和屏幕采集始终显示可感知指示。
位置支持单次、使用期间、精度和有效期，不默认后台持续采集；相机支持单次看见与限时通感。
设备采用一次配对、设备密钥、可撤销证书和可验证固件。
Tauri command 按 capability allowlist 暴露，不提供通用任意命令桥。
移动平台后台能力受 iOS/Android 平台规则限制；不通过隐藏保活绕过。
设备失联只允许已授权的本地缓存和安全停止，不运行独立角色副本。

8. 隐私与删除

原始采集和派生内容分别删除；
已撤回声音授权停止新生成和新发布；
社区或市场已有合法许可副本按许可条款处理，但不得继续暴露已删除的私密源文件；
人脸、声纹、精确位置和屏幕内容为 Restricted 数据，不进入普通日志、推荐特征或自动记忆。

4.5 KiB Raw Permalink Blame History Unescape Escape