chenxin
42513d13c6
- 产品层：产品宪章与永久禁域、产品定义、完整 1.0 范围与发布门、道家文化语言体系、指标与反指标 - 研究层：参考项目研究（deepseek-harness、pi、MemOS、模型网关）、灵台原生引擎研究（业界原生引擎架构理念与道家文化出处） - 架构层：系统、Agent 运行时（周天体系）、插件系统、灵台引擎（C++ 双形态）、媒体与设备、社区协作市场、前端富内容渲染、数据、记忆与知识 - 契约层：协议与稳定标识、API 总体约定、Native API、兼容网关、实时与 Webhook、内部端口、统一 ContentBlock 与流式（含分支对话交互态）、灵台 C ABI 与 gRPC Service、API 表面、HTTP 与事件、运行观测 - 决策：ADR-001 至 ADR-023（模块化单体、每 attempt 持久化、候选记忆、OAuth 2.1、灵台引擎、双形态部署、大周天演化、宪章、三界作用域、私箧与保全态、叩心、周天统一等） - 交付：WP-01 至 WP-15 实施 TODO 与设计阶段交接文档 - 工程：AGENTS.md 工程规则（含 C++/灵台规范）、CLAUDE.md 引用、.gitignore
124 lines
4.5 KiB
Markdown
124 lines
4.5 KiB
Markdown
# 媒体、Avatar 与设备架构
|
||
|
||
## 1. 范围
|
||
|
||
完整 1.0 支持文字、图像、音频、实时语音、Live2D、3D Avatar，以及 Web、Tauri 桌面和 Tauri 移动端的文件、相机、麦克风、屏幕与位置能力。
|
||
|
||
## 2. 媒体处理
|
||
|
||
```mermaid
|
||
flowchart LR
|
||
IN[Upload or Capture] --> CONSENT[Consent and Scope]
|
||
CONSENT --> SCAN[Safety and Malware Scan]
|
||
SCAN --> STORE[(Original Object)]
|
||
STORE --> JOB[Media Job]
|
||
JOB --> DERIVE[Transcode, ASR, Generate, Rig]
|
||
DERIVE --> REVIEW[User Review]
|
||
REVIEW --> ASSET[Versioned Character Asset]
|
||
ASSET --> RENDER[Client Avatar Runtime]
|
||
```
|
||
|
||
- 原始媒体、派生媒体、缩略图、转写和模型输入分别记录来源与保留期。
|
||
- 媒体任务异步执行，支持进度、取消、失败重试和幂等。
|
||
- 生成或编辑结果先是候选，用户采用后才成为角色正式资产版本。
|
||
- 文件名、MIME、实际内容、尺寸和许可都要验证。
|
||
|
||
## 3. 语音
|
||
|
||
### 3.1 能力
|
||
|
||
- 上传音频和语音消息；
|
||
- 流式或分段 ASR；
|
||
- TTS 流式合成；
|
||
- WebSocket 实时语音会话；
|
||
- 打断、端点检测、字幕、语言检测和切换；
|
||
- 预设声音、原创声音设计和授权声音克隆；
|
||
- 原音频与 TTS 默认短期缓存，ASR 原转写与正影文本并存；多说话者默认匿名分段，长期声纹与身份识别需独立同意；不承诺持续监听或电话级全双工。
|
||
|
||
### 3.2 实时链路
|
||
|
||
```mermaid
|
||
sequenceDiagram
|
||
participant C as Client
|
||
participant G as Realtime Gateway
|
||
participant A as ASR
|
||
participant R as Agent Runtime
|
||
participant T as TTS
|
||
|
||
C->>G: audio frames
|
||
G->>A: authorized audio stream
|
||
A-->>G: transcript deltas
|
||
G->>R: finalized user segment
|
||
R-->>G: text deltas
|
||
G->>T: speakable text
|
||
T-->>G: audio frames
|
||
G-->>C: text and audio events
|
||
C->>G: interrupt
|
||
G->>R: cancel current generation
|
||
G->>T: stop synthesis
|
||
```
|
||
|
||
音频原文默认短期保留；转写纠正创建新版本。声音克隆必须绑定授权主体、用途、期限、传播范围和撤回状态。
|
||
|
||
## 4. 图像与角色一致性
|
||
|
||
- 文生图、图生图、局部重绘、背景去除、分层和风格参考；
|
||
- 角色稳定外观参考与可变属性分离；
|
||
- 每次生成保存模型、提示摘要、来源资产、许可和安全结果；
|
||
- 社区/市场发布前检查现实人物、版权、成人内容和来源许可。
|
||
|
||
## 5. Live2D
|
||
|
||
1.0 包含：
|
||
|
||
- Cubism-compatible 模型导入和校验；
|
||
- 图像分层辅助和候选导出；
|
||
- 参数、表情、口型、视线、物理和动作映射；
|
||
- 可视化参数编辑、预览和版本；
|
||
- Web/Tauri 运行时；
|
||
- 标准资源导出。
|
||
|
||
不重做 Cubism Editor 的全部专业绘制和网格编辑功能。
|
||
|
||
## 6. 3D
|
||
|
||
1.0 采用开放格式和非破坏编辑：
|
||
|
||
- VRM/glTF 导入、验证和标准化；
|
||
- 材质、纹理、骨骼、BlendShape/表情映射；
|
||
- 动作库、动画状态、口型、视线和实时姿态；
|
||
- 灯光、相机、环境和场景对象编辑；
|
||
- 角色附件、服饰挂点和版本；
|
||
- WebGPU/WebGL 与 Tauri Runtime；
|
||
- VRM/glTF 导出和来源清单。
|
||
|
||
2.0 才引入完整网格建模、雕刻、拓扑、绑定和 LLM 直接修改几何/绑定。1.0 的编辑命令和版本历史必须可扩展到该能力。
|
||
|
||
## 7. 设备授权
|
||
|
||
`device_grant` 至少绑定：
|
||
|
||
- user、device、character；
|
||
- capability：file/camera/microphone/screen/location/notification；
|
||
- purpose、scope、precision；
|
||
- granted/started/expires/revoked 时间；
|
||
- foreground/background 限制；
|
||
- retention 与 derived-use 策略。
|
||
|
||
### 7.1 规则
|
||
|
||
- 默认关闭；首次使用由系统权限和产品确认共同授权。
|
||
- 相机、麦克风和屏幕采集始终显示可感知指示。
|
||
- 位置支持单次、使用期间、精度和有效期，不默认后台持续采集；相机支持单次看见与限时通感。
|
||
- 设备采用一次配对、设备密钥、可撤销证书和可验证固件。
|
||
- Tauri command 按 capability allowlist 暴露，不提供通用任意命令桥。
|
||
- 移动平台后台能力受 iOS/Android 平台规则限制；不通过隐藏保活绕过。
|
||
- 设备失联只允许已授权的本地缓存和安全停止，不运行独立角色副本。
|
||
|
||
## 8. 隐私与删除
|
||
|
||
- 原始采集和派生内容分别删除；
|
||
- 已撤回声音授权停止新生成和新发布；
|
||
- 社区或市场已有合法许可副本按许可条款处理，但不得继续暴露已删除的私密源文件；
|
||
- 人脸、声纹、精确位置和屏幕内容为 Restricted 数据，不进入普通日志、推荐特征或自动记忆。
|