✨ feat(database): 完善请求日志体系并为全表补充时间字段

- request_log 新增 user_agent 列(含旧表 ALTER 迁移)及 ip/status 索引,记录解码后的明文 query(含 key,不脱敏)
- 请求日志批量写入改为多值 INSERT 单次往返,替代事务逐条 Exec
- 新增按本地时区分天聚合查询,状态页展示今日请求量与近 7 天请求趋势(峰值日高亮)
- 新增 TZ 时区支持:.env 配置 TZ 后日志时间戳与状态页全部时间统一生效,二进制内嵌 tzdata 保证容器可用
- 五张表统一补齐 created_at/updated_at 字段,启动时自动补列并按业务时间回填旧行
- device_pool 的 device_header 增加唯一约束;audio_cache 写入改为 UPSERT 修复同 key 重复报错
- 状态页"最近请求"新增 UA 列与限流状态显示;config.yaml 暴露 rate_limit_qps 配置并默认启用请求日志
This commit is contained in:
chenxin committed 2026-10-09 22:08:04 +08:00
1 parent 1a4997e031
commit 126a96d744
12 files changed
+277 -55

No files matched your search

+20 -9
View File
@@ -8,7 +8,6 @@ import (
"fmt"
"net"
"net/http"
"regexp"
"strings"
"sync"
"sync/atomic"
@@ -253,26 +252,38 @@ func LogRequestMiddleware(handler http.HandlerFunc) http.HandlerFunc {
sw := &statusWriter{ResponseWriter: w, status: http.StatusOK}
handler(sw, r)
query := sanitizeQuery(r.URL.RawQuery)
ua := r.UserAgent()
if len(ua) > 512 { // 防恶意超长 UA 撑爆日志
ua = ua[:512]
}
fqapi.LogRequest(fqapi.RequestLogEntry{
Ts: start.Unix(),
IP: clientIP(r),
Method: r.Method,
Path: r.URL.Path,
Query: query,
Query: decodedQuery(r),
Status: sw.status,
DurationMs: time.Since(start).Milliseconds(),
ErrorMsg: string(sw.errBuf),
UserAgent: ua,
})
}
}
// keyParamRe 匹配查询串中独立的 key 参数(accesskey 等不会被误伤)
var keyParamRe = regexp.MustCompile(`(?i)(^|&)key=[^&]*`)
// sanitizeQuery 日志中脱敏:key 参数值替换为 ***(直接替换避免 Encode 把 *** 转义)
func sanitizeQuery(rawQuery string) string {
return keyParamRe.ReplaceAllString(rawQuery, "${1}key=***")
// decodedQuery 重组解码后的查询串(keyword=%E6%B5%8B → keyword=测),日志可读
// ponytail: map 遍历乱序、%26 解码后与分隔符同名 —— 展示用途可接受
func decodedQuery(r *http.Request) string {
vals := r.URL.Query() // 已解码
if len(vals) == 0 {
return ""
}
parts := make([]string, 0, len(vals))
for k, vs := range vals {
for _, v := range vs {
parts = append(parts, k+"="+v)
}
}
return strings.Join(parts, "&")
}
// HandleHealth 存活探针(供容器/反向代理使用)