M4 收口：神识用户面与计量闭环——BYOK/配额三段式/usage 落库/Anthropic+Gemini 适配器/神识阁
- 神识 Go：store 双实现（PG 自动建表+60s 就绪重试 / 内存回退）承载 usage_logs·byok_keys·quota_balances；BYOK 密钥库（AES-GCM 加密、API 脱敏、撤回即失效、主密钥未配置 fail-closed）；配额三段式（预扣 max_tokens 钳位 1M→结算实际 token→全败幂等退款，HJ-2004）；计量归属（IR user_id→usage_logs，/me/usage 用户维度聚合+配额总览，/admin/usage/sample 对账抽样）；Anthropic/Gemini 出站适配器（SSE 解析、system 提升、用量映射）；stub 端点补名修复计量空 endpoint - IR 契约：user_id/byok_key_id 双端同步（Go types.go + Py types.py） - 灵台：runs.owner_id（迁移 005，server_default 兼容存量）经 kernel 全链透传为 IR user_id；shenshi_client 扩展用户面方法（X-Hunjing-User-Id 代理，Echo 桩带内存实现）；/me/byok-keys 登记·列表·撤回与 /me/usage 端点（4 用例） - 前端神识阁（/models 重建）：偏好（生成参数表单）/自带密钥（登记加密保存、脱敏列表、撤回二次确认）/用量（聚合表+配额进度条）三区；me API 库+mock+5 用例；侧栏恢复入口 - 配置与部署：.env.example 增 SHENSHI_DATABASE_URL/SHENSHI_BYOK_MASTER_KEY/SHENSHI_USER_BUDGET_TOKENS；compose 神识容器接自有库（init-shenshi.sql 预建 hunjing_shenshi，与灵台不共库共表） - 证据：Go 34 用例（BYOK 独占/配额拒绝/结算退款/归属聚合）、后端 532、前端 210、BFF 4 全绿；跨进程 E2E 四场景（灵台 HttpShenshiClient→真 Go 神识：登记脱敏/BYOK 独占不可达整体失败/用量归属聚合/撤回即失效）通过；rewrite-plan M4 标记完成、能力矩阵神识行升已验证
This commit is contained in:
chenxin committed
1 parent
462d570751
commit
144415247e
51 files changed
+3533
-90
No files matched your search
@@ -0,0 +1,164 @@
|
||||
// Package byok 用户自带密钥：AES-GCM 加密存储与脱敏呈现（shenshi-gateway.md §6）。
|
||||
//
|
||||
// 密钥分层：平台密钥走端点目录（SHENSHI_ENDPOINTS），用户 BYOK 走本包；
|
||||
// 主密钥由 SHENSHI_BYOK_MASTER_KEY 提供（32 字节 hex/base64）；未配置时
|
||||
// BYOK 功能整体禁用（fail-closed，HJ-2003），不留明文降级路径。
|
||||
package byok
|
||||
|
||||
import (
|
||||
"crypto/aes"
|
||||
"crypto/cipher"
|
||||
"crypto/rand"
|
||||
"encoding/base64"
|
||||
"encoding/hex"
|
||||
"fmt"
|
||||
"strings"
|
||||
"time"
|
||||
|
||||
"hunjing/shenshi/internal/store"
|
||||
)
|
||||
|
||||
// Masked API 呈现形态：永不回明文。
|
||||
type Masked struct {
|
||||
ID string `json:"id"`
|
||||
Name string `json:"name"`
|
||||
Type string `json:"type"`
|
||||
BaseURL string `json:"base_url"`
|
||||
Model string `json:"model"`
|
||||
CreatedAt time.Time `json:"created_at"`
|
||||
LastUsed *time.Time `json:"last_used,omitempty"`
|
||||
// APIKeyMask 形如 sk-****abcd（前缀仅示意类型，不泄露中段）
|
||||
APIKeyMask string `json:"api_key_mask"`
|
||||
}
|
||||
|
||||
// Vault BYOK 密钥库。
|
||||
type Vault struct {
|
||||
aesgcm cipher.AEAD
|
||||
store store.Store
|
||||
}
|
||||
|
||||
// NewVault 构造；masterKey 为 32 字节 hex 或 base64。
|
||||
func NewVault(masterKey string, st store.Store) (*Vault, error) {
|
||||
if masterKey == "" {
|
||||
return nil, fmt.Errorf("SHENSHI_BYOK_MASTER_KEY 未配置，BYOK 功能禁用")
|
||||
}
|
||||
key, err := decodeKey(masterKey)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
block, err := aes.NewCipher(key)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
gcm, err := cipher.NewGCM(block)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return &Vault{aesgcm: gcm, store: st}, nil
|
||||
}
|
||||
|
||||
func decodeKey(raw string) ([]byte, error) {
|
||||
raw = strings.TrimSpace(raw)
|
||||
if b, err := hex.DecodeString(raw); err == nil && len(b) == 32 {
|
||||
return b, nil
|
||||
}
|
||||
if b, err := base64.StdEncoding.DecodeString(raw); err == nil && len(b) == 32 {
|
||||
return b, nil
|
||||
}
|
||||
return nil, fmt.Errorf("SHENSHI_BYOK_MASTER_KEY 须为 32 字节 hex 或 base64")
|
||||
}
|
||||
|
||||
func (v *Vault) encrypt(plaintext string) (string, error) {
|
||||
nonce := make([]byte, v.aesgcm.NonceSize())
|
||||
if _, err := rand.Read(nonce); err != nil {
|
||||
return "", err
|
||||
}
|
||||
sealed := v.aesgcm.Seal(nil, nonce, []byte(plaintext), nil)
|
||||
return base64.StdEncoding.EncodeToString(append(nonce, sealed...)), nil
|
||||
}
|
||||
|
||||
func (v *Vault) decrypt(encoded string) (string, error) {
|
||||
raw, err := base64.StdEncoding.DecodeString(encoded)
|
||||
if err != nil {
|
||||
return "", err
|
||||
}
|
||||
n := v.aesgcm.NonceSize()
|
||||
if len(raw) <= n {
|
||||
return "", fmt.Errorf("密文形态非法")
|
||||
}
|
||||
plain, err := v.aesgcm.Open(nil, raw[:n], raw[n:], nil)
|
||||
if err != nil {
|
||||
return "", fmt.Errorf("HJ-2003 BYOK 密钥解密失败")
|
||||
}
|
||||
return string(plain), nil
|
||||
}
|
||||
|
||||
// Register 登记用户密钥，返回脱敏形态。
|
||||
func (v *Vault) Register(userID, name, typ, baseURL, apiKey, model string) (*Masked, error) {
|
||||
enc, err := v.encrypt(apiKey)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
key := store.ByokKey{
|
||||
ID: newID(), UserID: userID, Name: name, Type: typ,
|
||||
BaseURL: baseURL, APIKey: enc, Model: model, CreatedAt: time.Now().UTC(),
|
||||
}
|
||||
if err := v.store.UpsertByok(key); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
m := mask(key, apiKey)
|
||||
return &m, nil
|
||||
}
|
||||
|
||||
// List 脱敏列举用户有效密钥。
|
||||
func (v *Vault) List(userID string) ([]Masked, error) {
|
||||
keys, err := v.store.ListByok(userID)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
out := make([]Masked, 0, len(keys))
|
||||
for _, k := range keys {
|
||||
out = append(out, mask(k, ""))
|
||||
}
|
||||
return out, nil
|
||||
}
|
||||
|
||||
// Resolve 取解密后的密钥材料（路由期专用，结果不落日志）。
|
||||
func (v *Vault) Resolve(userID, id string) (*store.ByokKey, string, error) {
|
||||
k, err := v.store.GetByok(userID, id)
|
||||
if err != nil || k == nil {
|
||||
return nil, "", fmt.Errorf("HJ-2003 BYOK 密钥不存在或已撤回")
|
||||
}
|
||||
plain, err := v.decrypt(k.APIKey)
|
||||
if err != nil {
|
||||
return nil, "", err
|
||||
}
|
||||
now := time.Now().UTC()
|
||||
_ = v.store.TouchByok(id, now)
|
||||
k.LastUsed = &now
|
||||
return k, plain, nil
|
||||
}
|
||||
|
||||
// Revoke 撤回（软删，立即失效）。
|
||||
func (v *Vault) Revoke(userID, id string) error {
|
||||
return v.store.RevokeByok(userID, id)
|
||||
}
|
||||
|
||||
func mask(k store.ByokKey, plainForPrefix string) Masked {
|
||||
prefix := ""
|
||||
if plainForPrefix != "" {
|
||||
prefix = plainForPrefix[:min(3, len(plainForPrefix))]
|
||||
}
|
||||
m := Masked{
|
||||
ID: k.ID, Name: k.Name, Type: k.Type, BaseURL: k.BaseURL, Model: k.Model,
|
||||
CreatedAt: k.CreatedAt, LastUsed: k.LastUsed,
|
||||
APIKeyMask: prefix + "****",
|
||||
}
|
||||
return m
|
||||
}
|
||||
|
||||
func newID() string {
|
||||
b := make([]byte, 10)
|
||||
_, _ = rand.Read(b)
|
||||
return "byok_" + hex.EncodeToString(b)
|
||||
}
|
||||
@@ -0,0 +1,77 @@
|
||||
package byok
|
||||
|
||||
import (
|
||||
"encoding/hex"
|
||||
"strings"
|
||||
"testing"
|
||||
|
||||
"hunjing/shenshi/internal/store"
|
||||
)
|
||||
|
||||
func testMaster() string {
|
||||
b := make([]byte, 32)
|
||||
for i := range b {
|
||||
b[i] = byte(i)
|
||||
}
|
||||
return hex.EncodeToString(b)
|
||||
}
|
||||
|
||||
func TestVaultRoundTripAndMask(t *testing.T) {
|
||||
v, err := NewVault(testMaster(), store.NewMem())
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
m, err := v.Register("u1", "主力", "anthropic", "https://api.anthropic.com", "sk-ant--secret123", "claude-x")
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if !strings.Contains(m.APIKeyMask, "****") || strings.Contains(m.APIKeyMask, "secret") {
|
||||
t.Fatalf("掩码泄露明文: %s", m.APIKeyMask)
|
||||
}
|
||||
|
||||
// 解密往返
|
||||
k, plain, err := v.Resolve("u1", m.ID)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if plain != "sk-ant--secret123" || k.Model != "claude-x" {
|
||||
t.Fatalf("往返失真: %s %s", plain, k.Model)
|
||||
}
|
||||
if k.LastUsed == nil {
|
||||
t.Fatal("使用时间应被记录")
|
||||
}
|
||||
|
||||
// 列表脱敏
|
||||
keys, _ := v.List("u1")
|
||||
if len(keys) != 1 || strings.Contains(keys[0].APIKeyMask, "secret") {
|
||||
t.Fatalf("列表脱敏失败: %+v", keys)
|
||||
}
|
||||
|
||||
// 撤回后失效
|
||||
if err := v.Revoke("u1", m.ID); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if _, _, err := v.Resolve("u1", m.ID); err == nil {
|
||||
t.Fatal("撤回后仍可解析")
|
||||
}
|
||||
}
|
||||
|
||||
func TestVaultFailClosedWithoutMasterKey(t *testing.T) {
|
||||
if _, err := NewVault("", store.NewMem()); err == nil {
|
||||
t.Fatal("未配置主密钥应拒绝启用（fail-closed）")
|
||||
}
|
||||
}
|
||||
|
||||
func TestVaultRejectsBadMasterKey(t *testing.T) {
|
||||
if _, err := NewVault("too-short", store.NewMem()); err == nil {
|
||||
t.Fatal("非 32 字节主密钥应被拒绝")
|
||||
}
|
||||
}
|
||||
|
||||
func TestVaultCrossUserIsolation(t *testing.T) {
|
||||
v, _ := NewVault(testMaster(), store.NewMem())
|
||||
m, _ := v.Register("u1", "k", "gemini", "https://gen.example.com", "AIza-key", "gemini-x")
|
||||
if _, _, err := v.Resolve("u2", m.ID); err == nil {
|
||||
t.Fatal("u2 不应解析 u1 的密钥")
|
||||
}
|
||||
}
|
||||
Reference in new issue
Block a user