📝 docs: 建立魂镜完整 1.0 设计文档体系
- 产品层:产品宪章与永久禁域、产品定义、完整 1.0 范围与发布门、道家文化语言体系、指标与反指标 - 研究层:参考项目研究(deepseek-harness、pi、MemOS、模型网关)、灵台原生引擎研究(业界原生引擎架构理念与道家文化出处) - 架构层:系统、Agent 运行时(周天体系)、插件系统、灵台引擎(C++ 双形态)、媒体与设备、社区协作市场、前端富内容渲染、数据、记忆与知识 - 契约层:协议与稳定标识、API 总体约定、Native API、兼容网关、实时与 Webhook、内部端口、统一 ContentBlock 与流式(含分支对话交互态)、灵台 C ABI 与 gRPC Service、API 表面、HTTP 与事件、运行观测 - 决策:ADR-001 至 ADR-023(模块化单体、每 attempt 持久化、候选记忆、OAuth 2.1、灵台引擎、双形态部署、大周天演化、宪章、三界作用域、私箧与保全态、叩心、周天统一等) - 交付:WP-01 至 WP-15 实施 TODO 与设计阶段交接文档 - 工程:AGENTS.md 工程规则(含 C++/灵台规范)、CLAUDE.md 引用、.gitignore
This commit is contained in:
commit
42513d13c6
37 files changed
+5795
No files matched your search
@@ -0,0 +1,123 @@
|
||||
# 媒体、Avatar 与设备架构
|
||||
|
||||
## 1. 范围
|
||||
|
||||
完整 1.0 支持文字、图像、音频、实时语音、Live2D、3D Avatar,以及 Web、Tauri 桌面和 Tauri 移动端的文件、相机、麦克风、屏幕与位置能力。
|
||||
|
||||
## 2. 媒体处理
|
||||
|
||||
```mermaid
|
||||
flowchart LR
|
||||
IN[Upload or Capture] --> CONSENT[Consent and Scope]
|
||||
CONSENT --> SCAN[Safety and Malware Scan]
|
||||
SCAN --> STORE[(Original Object)]
|
||||
STORE --> JOB[Media Job]
|
||||
JOB --> DERIVE[Transcode, ASR, Generate, Rig]
|
||||
DERIVE --> REVIEW[User Review]
|
||||
REVIEW --> ASSET[Versioned Character Asset]
|
||||
ASSET --> RENDER[Client Avatar Runtime]
|
||||
```
|
||||
|
||||
- 原始媒体、派生媒体、缩略图、转写和模型输入分别记录来源与保留期。
|
||||
- 媒体任务异步执行,支持进度、取消、失败重试和幂等。
|
||||
- 生成或编辑结果先是候选,用户采用后才成为角色正式资产版本。
|
||||
- 文件名、MIME、实际内容、尺寸和许可都要验证。
|
||||
|
||||
## 3. 语音
|
||||
|
||||
### 3.1 能力
|
||||
|
||||
- 上传音频和语音消息;
|
||||
- 流式或分段 ASR;
|
||||
- TTS 流式合成;
|
||||
- WebSocket 实时语音会话;
|
||||
- 打断、端点检测、字幕、语言检测和切换;
|
||||
- 预设声音、原创声音设计和授权声音克隆;
|
||||
- 原音频与 TTS 默认短期缓存,ASR 原转写与正影文本并存;多说话者默认匿名分段,长期声纹与身份识别需独立同意;不承诺持续监听或电话级全双工。
|
||||
|
||||
### 3.2 实时链路
|
||||
|
||||
```mermaid
|
||||
sequenceDiagram
|
||||
participant C as Client
|
||||
participant G as Realtime Gateway
|
||||
participant A as ASR
|
||||
participant R as Agent Runtime
|
||||
participant T as TTS
|
||||
|
||||
C->>G: audio frames
|
||||
G->>A: authorized audio stream
|
||||
A-->>G: transcript deltas
|
||||
G->>R: finalized user segment
|
||||
R-->>G: text deltas
|
||||
G->>T: speakable text
|
||||
T-->>G: audio frames
|
||||
G-->>C: text and audio events
|
||||
C->>G: interrupt
|
||||
G->>R: cancel current generation
|
||||
G->>T: stop synthesis
|
||||
```
|
||||
|
||||
音频原文默认短期保留;转写纠正创建新版本。声音克隆必须绑定授权主体、用途、期限、传播范围和撤回状态。
|
||||
|
||||
## 4. 图像与角色一致性
|
||||
|
||||
- 文生图、图生图、局部重绘、背景去除、分层和风格参考;
|
||||
- 角色稳定外观参考与可变属性分离;
|
||||
- 每次生成保存模型、提示摘要、来源资产、许可和安全结果;
|
||||
- 社区/市场发布前检查现实人物、版权、成人内容和来源许可。
|
||||
|
||||
## 5. Live2D
|
||||
|
||||
1.0 包含:
|
||||
|
||||
- Cubism-compatible 模型导入和校验;
|
||||
- 图像分层辅助和候选导出;
|
||||
- 参数、表情、口型、视线、物理和动作映射;
|
||||
- 可视化参数编辑、预览和版本;
|
||||
- Web/Tauri 运行时;
|
||||
- 标准资源导出。
|
||||
|
||||
不重做 Cubism Editor 的全部专业绘制和网格编辑功能。
|
||||
|
||||
## 6. 3D
|
||||
|
||||
1.0 采用开放格式和非破坏编辑:
|
||||
|
||||
- VRM/glTF 导入、验证和标准化;
|
||||
- 材质、纹理、骨骼、BlendShape/表情映射;
|
||||
- 动作库、动画状态、口型、视线和实时姿态;
|
||||
- 灯光、相机、环境和场景对象编辑;
|
||||
- 角色附件、服饰挂点和版本;
|
||||
- WebGPU/WebGL 与 Tauri Runtime;
|
||||
- VRM/glTF 导出和来源清单。
|
||||
|
||||
2.0 才引入完整网格建模、雕刻、拓扑、绑定和 LLM 直接修改几何/绑定。1.0 的编辑命令和版本历史必须可扩展到该能力。
|
||||
|
||||
## 7. 设备授权
|
||||
|
||||
`device_grant` 至少绑定:
|
||||
|
||||
- user、device、character;
|
||||
- capability:file/camera/microphone/screen/location/notification;
|
||||
- purpose、scope、precision;
|
||||
- granted/started/expires/revoked 时间;
|
||||
- foreground/background 限制;
|
||||
- retention 与 derived-use 策略。
|
||||
|
||||
### 7.1 规则
|
||||
|
||||
- 默认关闭;首次使用由系统权限和产品确认共同授权。
|
||||
- 相机、麦克风和屏幕采集始终显示可感知指示。
|
||||
- 位置支持单次、使用期间、精度和有效期,不默认后台持续采集;相机支持单次看见与限时通感。
|
||||
- 设备采用一次配对、设备密钥、可撤销证书和可验证固件。
|
||||
- Tauri command 按 capability allowlist 暴露,不提供通用任意命令桥。
|
||||
- 移动平台后台能力受 iOS/Android 平台规则限制;不通过隐藏保活绕过。
|
||||
- 设备失联只允许已授权的本地缓存和安全停止,不运行独立角色副本。
|
||||
|
||||
## 8. 隐私与删除
|
||||
|
||||
- 原始采集和派生内容分别删除;
|
||||
- 已撤回声音授权停止新生成和新发布;
|
||||
- 社区或市场已有合法许可副本按许可条款处理,但不得继续暴露已删除的私密源文件;
|
||||
- 人脸、声纹、精确位置和屏幕内容为 Restricted 数据,不进入普通日志、推荐特征或自动记忆。
|
||||
Reference in new issue
Block a user