# 媒体、Avatar 与设备架构

## 1. 范围

完整 1.0 支持文字、图像、音频、实时语音、Live2D、3D Avatar，以及 Web、Tauri 桌面和 Tauri 移动端的文件、相机、麦克风、屏幕与位置能力。

## 2. 媒体处理

```mermaid
flowchart LR
  IN[Upload or Capture] --> CONSENT[Consent and Scope]
  CONSENT --> SCAN[Safety and Malware Scan]
  SCAN --> STORE[(Original Object)]
  STORE --> JOB[Media Job]
  JOB --> DERIVE[Transcode, ASR, Generate, Rig]
  DERIVE --> REVIEW[User Review]
  REVIEW --> ASSET[Versioned Character Asset]
  ASSET --> RENDER[Client Avatar Runtime]
```

- 原始媒体、派生媒体、缩略图、转写和模型输入分别记录来源与保留期。
- 媒体任务异步执行，支持进度、取消、失败重试和幂等。
- 生成或编辑结果先是候选，用户采用后才成为角色正式资产版本。
- 文件名、MIME、实际内容、尺寸和许可都要验证。

## 3. 语音

### 3.1 能力

- 上传音频和语音消息；
- 流式或分段 ASR；
- TTS 流式合成；
- WebSocket 实时语音会话；
- 打断、端点检测、字幕、语言检测和切换；
- 预设声音、原创声音设计和授权声音克隆；
- 原音频与 TTS 默认短期缓存，ASR 原转写与正影文本并存；多说话者默认匿名分段，长期声纹与身份识别需独立同意；不承诺持续监听或电话级全双工。

### 3.2 实时链路

```mermaid
sequenceDiagram
  participant C as Client
  participant G as Realtime Gateway
  participant A as ASR
  participant R as Agent Runtime
  participant T as TTS

  C->>G: audio frames
  G->>A: authorized audio stream
  A-->>G: transcript deltas
  G->>R: finalized user segment
  R-->>G: text deltas
  G->>T: speakable text
  T-->>G: audio frames
  G-->>C: text and audio events
  C->>G: interrupt
  G->>R: cancel current generation
  G->>T: stop synthesis
```

音频原文默认短期保留；转写纠正创建新版本。声音克隆必须绑定授权主体、用途、期限、传播范围和撤回状态。

## 4. 图像与角色一致性

- 文生图、图生图、局部重绘、背景去除、分层和风格参考；
- 角色稳定外观参考与可变属性分离；
- 每次生成保存模型、提示摘要、来源资产、许可和安全结果；
- 社区/市场发布前检查现实人物、版权、成人内容和来源许可。

## 5. Live2D

1.0 包含：

- Cubism-compatible 模型导入和校验；
- 图像分层辅助和候选导出；
- 参数、表情、口型、视线、物理和动作映射；
- 可视化参数编辑、预览和版本；
- Web/Tauri 运行时；
- 标准资源导出。

不重做 Cubism Editor 的全部专业绘制和网格编辑功能。

## 6. 3D

1.0 采用开放格式和非破坏编辑：

- VRM/glTF 导入、验证和标准化；
- 材质、纹理、骨骼、BlendShape/表情映射；
- 动作库、动画状态、口型、视线和实时姿态；
- 灯光、相机、环境和场景对象编辑；
- 角色附件、服饰挂点和版本；
- WebGPU/WebGL 与 Tauri Runtime；
- VRM/glTF 导出和来源清单。

2.0 才引入完整网格建模、雕刻、拓扑、绑定和 LLM 直接修改几何/绑定。1.0 的编辑命令和版本历史必须可扩展到该能力。

## 7. 设备授权

`device_grant` 至少绑定：

- user、device、character；
- capability：file/camera/microphone/screen/location/notification；
- purpose、scope、precision；
- granted/started/expires/revoked 时间；
- foreground/background 限制；
- retention 与 derived-use 策略。

### 7.1 规则

- 默认关闭；首次使用由系统权限和产品确认共同授权。
- 相机、麦克风和屏幕采集始终显示可感知指示。
- 位置支持单次、使用期间、精度和有效期，不默认后台持续采集；相机支持单次看见与限时通感。
- 设备采用一次配对、设备密钥、可撤销证书和可验证固件。
- Tauri command 按 capability allowlist 暴露，不提供通用任意命令桥。
- 移动平台后台能力受 iOS/Android 平台规则限制；不通过隐藏保活绕过。
- 设备失联只允许已授权的本地缓存和安全停止，不运行独立角色副本。

## 8. 隐私与删除

- 原始采集和派生内容分别删除；
- 已撤回声音授权停止新生成和新发布；
- 社区或市场已有合法许可副本按许可条款处理，但不得继续暴露已删除的私密源文件；
- 人脸、声纹、精确位置和屏幕内容为 Restricted 数据，不进入普通日志、推荐特征或自动记忆。