chenxin/fanqie-go
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
26 Commits 1 Branch 0 Tags
9eb25672476e60657b02c41f9bde9c76a816c2df
Commit Graph
26 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
chenxin 9eb2567247 ✨ feat(bookSource): 聚合书源适配阅读 app 并完善评论体验 
- 聚合书源取代早期书源版本：发现页筛选宫格/分类宫格、x:t:m:d: 前缀搜索、
  fqtab 类型随书切换、段评气泡(内置六种样式可配)；showCmt 能力检测，魔改版
  原地弹窗(点遮罩关闭)、官方阅读降级 startBrowser；jsLib 不引用规则变量，
  searchUrl 修正编码与作用域
- 评论页：注入绝对 API_BASE，修复弹窗 WebView 内切换排序/懒加载失败；
  externalBaseURL 识别 X-Forwarded-Proto，气泡 ident 不再硬编码 http；
  顶栏固定(拖拽把手)+评论区独立滚动
- 部署：证书方案从 certbot 迁移到 acme.sh(CERT_DIR 可配置)
- 忽略 .codegraph 本地索引目录
 2026-10-10 12:57:00 +08:00
chenxin a652049ba4 🔧 fix(deploy): nginx 模板自带 443 配置，防止 --sync-nginx 覆盖证书段 
- 原模板仅 80，443 依赖 certbot --nginx 注入，--sync-nginx 整文件覆盖会抹掉注入配置导致证书回退
- 检测 /etc/letsencrypt/live/<域名>/ 证书存在时自动启用 443，80 仅留 ACME 验证与 301 跳转
- certbot 改用 certonly --webroot，不再改写 nginx 配置；反代 location 抽取为 80/443 共享段
 2026-10-10 02:09:29 +08:00
chenxin 0aed60713a ✨ feat(video): 新增视频 CENC 解密与流式代理播放 
- 逆向 SpadeA(黑桃A) PlayAuth 混淆，从 spade_a 还原 AES-128 内容密钥
- 实现 cenc-aes-ctr MP4 解密（senc 逐样本 CTR + stsd entry 修复），实测可播放
- 新增 /video/proxy/{key} 代理：稳定 key + 磁盘缓存（二次命中提速 130x）+
  http.ServeContent 支持 Range/206/seek 流式播放
- /video 接口新增 output(url/proxy，默认 proxy) 与 quality(max/720p/档位key) 参数，
  可由 config fanqie.video.* 配置默认值；无匹配清晰度时明确报错
- 代理映射复用 audio_cache 存储，抽取 loadMediaProxyEntry 共用；挂接 7 天缓存清理
- deploy.sh 新增 --sync-nginx：备份→重写→校验→失败自动回滚，同步视频代理段配置
 2026-10-09 23:56:32 +08:00
chenxin 162dde9222 ✨ feat(bookSource): 新增番茄小说书源配置文件 2026-10-09 23:04:59 +08:00
chenxin e3d96ca637 ✨ feat(database): 完善请求日志体系并为全表补充时间字段 
- request_log 新增 user_agent 列（含旧表 ALTER 迁移）及 ip/status 索引，记录解码后的明文 query（含 key，不脱敏）
- 请求日志批量写入改为多值 INSERT 单次往返，替代事务逐条 Exec
- 新增按本地时区分天聚合查询，状态页展示今日请求量与近 7 天请求趋势（峰值日高亮）
- 新增 TZ 时区支持：.env 配置 TZ 后日志时间戳与状态页全部时间统一生效，二进制内嵌 tzdata 保证容器可用
- 五张表统一补齐 created_at/updated_at 字段，启动时自动补列并按业务时间回填旧行
- device_pool 的 device_header 增加唯一约束；audio_cache 写入改为 UPSERT 修复同 key 重复报错
- 状态页"最近请求"新增 UA 列与限流状态显示；config.yaml 暴露 rate_limit_qps 配置并默认启用请求日志
- deploy.sh 同名版本默认拒绝覆盖，新增 --force/-f 参数显式允许覆盖
 2026-10-09 22:12:17 +08:00
chenxin 1a4997e031 ✨ feat(api): 统一响应格式并完善参数体系与文档 
- 正文参数支持语义值(plain/html/keep/remove)与别名(img_mode/review_mode)，URL 参数优先于配置
- 修复纯文本被段评强制包回 HTML、HTML 模式段评注入失效的问题
- 修复 PKCS7 填充弱校验导致漫画/正文偶发解密乱码返回 200 的问题
- 搜索结果展平：去 search_tabs 层与 selected_tab_idx/server_ab_params，提升 has_more/next_offset
- 全接口解包字符串形式的 JSON 字段(category_schema 等)，缓存出口幂等处理
- 序列化关闭 HTML 转义，video/audio 播放链接可直接复制播放
- video 响应透传 CENC 加密状态(key_seed/kid/encryption_method)
- 新增 gzip 中间件，JSON/文本响应压缩约 81%，二进制透传
- 漫画默认输出模式改为 proxy(url 模式链接 404 且内容加密不可用)
- openapi.yaml：补全 23 个路径参数定义、tab_type 完整枚举、CDN 签名说明，示例更新
 2026-10-09 21:01:18 +08:00
chenxin bfb4290c15 ✨ feat(status): 新增请求日志并重设计状态页 
- 新增 server.request_log 配置:记录业务请求元数据(IP/方法/路径/状态/耗时,
  key 自动脱敏)与 4xx/5xx 错误摘要(前 4KB),按保留天数自动清理
- 移除 /self-info 与 /vacuum 接口及相关文档
- 状态页重设计:毛玻璃卡片+吸顶玻璃栏、服务状态条、KPI 卡与请求分类
  条形图、可折叠 API 文档分组、行内测试面板;深浅色分别调校,
  含 reduced-motion / reduced-transparency / 无 backdrop-filter 兜底
 2026-10-09 18:03:02 +08:00
chenxin bf49805bb6 🐛 fix(deploy): 修复服务存在性检测误判导致服务未启动 
- systemctl list-unit-files | grep -q 在 pipefail 下：grep -q 匹配后提前退出，
  systemctl 因 SIGPIPE 返回 141，管道整体判假，误走"服务不存在"分支
- 改用 systemctl cat 检测，无管道且不依赖输出格式
 2026-10-09 15:58:55 +08:00
chenxin 889c399a0b 🚀 deploy(build): 新增一键部署脚本与构建工具链 
- 新增 deploy.sh：编译部署、systemd/Nginx 初始化、软链接版本管理与交互式回滚、部署后 /healthz 健康自检、certbot 自动申请 HTTPS 证书与续期重载 Hook
- 新增 .deploy.env.example 部署配置模板，.deploy.env（不入库）覆盖脚本默认值，路径默认由 APP_NAME 派生，CERT_EMAIL 默认 admin@域名
- 新增 Makefile：build / build-linux 交叉编译 / test（含 go vet）/ clean
- main.go 新增 Version/BuildTime 变量，使 -ldflags -X 注入生效并在启动日志打印
- systemd 工作目录改为代码目录，修复 config.yaml/.env/cache.db 相对路径加载失败
- .gitignore 忽略 .deploy.env 与 fanqie-* 编译产物；README 新增部署章节与 HTTPS 说明
 2026-10-09 15:53:21 +08:00
chenxin 6a473aea3e 🐛 fix(build): 补交被误忽略的模板修复 Linux 构建 
- 将 .gitignore 的 *.html 规则收窄为 cover.html，不再误忽略源码模板
- 补交 internal/handlers/templates/review.html 与 status.html，此前未入库导致 Linux 上 go build 报 go:embed no matching files
 2026-10-09 15:12:36 +08:00
chenxin 8ce4c48756 ✨ feat(config): 更新段落处理配置，启用段落缩进和双换行 2026-10-09 14:49:23 +08:00
chenxin 292b8c656f 🧪 test(algos): 新增签名算法 golden 测试 
固定输入与时间戳断言 Gorgon/8404/Ladon 输出及 Argus 哈希层。
Go 1.25 起 rand.Seed 默认 no-op，用 //go:debug randseednop=0 钉住随机序列；
Argus 因 protobuf 按 map 迭代序编码无法全量 golden，仅测其确定性哈希。
 2026-10-08 13:50:46 +08:00
chenxin 6e1a21314a 📝 docs(readme): 修正 Go 版本要求为 1.25 2026-10-08 13:50:46 +08:00
chenxin 5bcc8a962e ♻️ refactor(handlers): status 与 review 页面模板化 
- HTML 提取至 templates/status.html、templates/review.html（go:embed 内嵌）
- status.go 1022→271 行、review.go 1281→438 行，动态数据全部经 html/template 按上下文自动转义
- 评论循环/作者徽章/贴纸/图片条件渲染翻译为模板 range/if；emojiMap 以 template.JS 注入
- 与旧版渲染输出实测对比：22 条评论结构完全一致；差异仅为 JS 上下文安全转义（& 等）与 html/template 剥除 CSS 注释，均无功能影响
- 其余文件为 gofmt 顺手格式化
 2026-09-30 00:25:09 +08:00
chenxin ad6d28fd85 ⚡️ perf(media): 音频代理改为流式转发 
- downloadMedia 拿到响应头即返回 Body，音频不再全量驻留内存，改由 io.Copy 流式写出
- 重试仅覆盖响应阶段；Body 读取中途失败由客户端自行重试
- 请求头设置提取为 setMediaHeaders 复用；data_uri 模式保持全量读取（本就需驻留内存）
- 漫画代理因需解密后输出，维持原有全量方式
 2026-09-30 00:25:09 +08:00
chenxin f89bee8ddc ✨ feat(server): 新增每 IP 请求限流 
- 新增 RateLimit 中间件：golang.org/x/time/rate 令牌桶，超出返回 429
- server.rate_limit_qps 配置（默认 0 不限制，突发 10），公网部署建议开启
- 业务路由统一接入 限流 → 鉴权 中间件链；/healthz 与静态资源不限流
- X-Forwarded-For 优先取真实客户端 IP（反代场景），visitor 表定时清理防泄漏
- config.yaml 补齐 protect_all 与 rate_limit_qps 配置项（此前仅存在于代码）
 2026-09-30 00:24:58 +08:00
chenxin 822d3fe444 📝 docs(api): 补充 search 接口 tab_type 过滤语义 2026-09-29 23:55:44 +08:00
chenxin 8bc6f5c2ae 🐛 fix(search): 按 tab_type 过滤搜索结果 
- 上游 search/tab/v/ 固定返回所有 tab 的 search_tabs，此前原样转发导致传 tab_type 仍返回全部结果
- 新增 filterSearchTabs 只保留匹配项，无匹配时保留原样兜底
- 过滤路径用 UseNumber 解析重组，避免 19 位 book_id 经 float64 丢精度；解析失败退回原样转发
- 新增测试：过滤正确性、无匹配兜底、大整数精度保持
 2026-09-29 23:54:27 +08:00
chenxin bb0cc39950 📝 docs(readme): 同步近期改动并修正过时内容 
- 补充 /healthz、protect_all 配置、错误响应规范（400/500/401）、缓存机制表
- 修正接口参数名与代码不符处：content 实为 item_id、multi-content 需 book_id、media 系列为 item_ids 等
- /vacuum 修正为 POST；技术栈删除已移除的 Gin，改为标准库 net/http
 2026-09-29 23:52:10 +08:00
chenxin 586b714f3c ✨ feat(cache): 幂等只读接口接入缓存 
- 新增 withCache 包装：命中直接返回，miss 回源后写入，仅缓存成功响应
- 详情/目录/批量详情/章节摘要缓存 24 小时；搜索/分类列表/分类详情短缓存 10 分钟
- 7 个 fqapi 处理函数原函数体不动、改名 fetchXxx，外层套缓存壳
- redisGetCache 补 3 秒读超时，与写路径一致，防远程 Redis 网络抖动拖垮请求
- 新增 TestWithCache：验证命中不回源、失败响应不缓存
 2026-09-29 23:43:56 +08:00
chenxin f0d89b462b ⚡️ perf(fqapi): 移除缓存层全局串行锁 
- 删除 cache_manager/audio_proxy/device_key_pool 中 21 处 cacheMutex：database/sql 连接池本身并发安全，SQLite 已配 WAL + busy_timeout，PostgreSQL 无并发写限制
- contentRequestCount 三函数由互斥锁改为 atomic.Int64
- cache_manager 中 config.GetConfig() 改为 GetAppConfig()，消除配置未初始化时 log.Fatal 崩溃整个进程的隐患
- VACUUM 与写操作的低频并发冲突由 busy_timeout 兜底（已注释说明）
- 新增 TestConcurrentCacheAccess：8 goroutine 并发读写缓存，-race 验证无死锁无竞争
 2026-09-29 23:21:10 +08:00
chenxin 24c7e4b6fd 🔒️ security(server): 业务接口保护开关与存活探针 
- access_key 改用 subtle.ConstantTimeCompare 常量时间比较，防时序攻击
- 新增 server.protect_all 配置：开启后业务接口（/search、/content 等）也要求访问密钥
- 代理路由（/audio/proxy/、/manga/image/）不参与保护，其 URL 由服务端生成不含 key
- 新增 /healthz 存活探针（不校验密钥，供容器/反代使用）
- openapi.yaml 补 /healthz 定义，Unauthorized 描述说明 protect_all 行为
- 新增 3 个测试：保护开关放行、healthz、错误响应行为
 2026-09-29 22:51:39 +08:00
chenxin d1774a3902 🐛 fix(handlers): 统一错误响应为安全 JSON 并补参数校验 
- 新增 respondError：JSON 安全编码，客户端错误返回 400，服务端错误返回 500
- 收编 book/content/media/category 中 13 处 fmt.Fprintf 内联 JSON，修复错误信息含引号/换行时产出非法 JSON 的问题
- search/detail/catalog/multi-detail/content/multi-content/item-summary/audio/video 补必需参数校验，缺参返回 400
- search 的 offset/tab_type 非数字时返回 400，不再静默置 0
- 补齐 multi-detail/multi-content 的请求统计计数
- 新增 error_response_test.go：3 个测试锁定错误响应行为
- openapi.yaml 新增 ServerError 响应组件，15 个业务接口补 400/500 响应定义

BREAKING CHANGE: 业务接口错误不再返回 HTTP 200，缺参返回 400，上游失败返回 500
 2026-09-29 22:47:01 +08:00
chenxin 1eccebedf9 ✨ feat(cache): 新增 Redis 缓存与 PostgreSQL 后端支持 
- 新增 cache.redis 配置(独立 host/port/password/db 字段),启用后正文缓存与音频代理缓存走 Redis,键前缀 fq:cache:/fq:audio:,TTL 自动过期
- 新增 cache.backend: sqlite|postgres 切换,PG 连接用 net/url 构造 DSN,密码特殊字符自动转义;SQLite 顺手启用 WAL 与 busy_timeout
- SQL 方言收敛:q() 将 ? 占位符转换为 $n、INSERT OR IGNORE 与查询再插入统一为 ON CONFLICT、LastInsertId 改为 RETURNING id、建表 DDL 双版本分派
- PG 下 VACUUM 走 autovacuum 说明、状态页大小改查 pg_database_size
- 修复 PG 下设备保存失败:is_valid 列为 INTEGER,写入点补 boolToInt 转换
- 新增 .env 支持:敏感配置(密码/主机/访问密钥)由环境变量覆盖 config.yaml,.env 进 gitignore,仓库附 .env.example 模板
- 新增 openapi.yaml(OpenAPI 3.1):覆盖全部 24 个路径,含参数、响应结构与鉴权方案,README 增加指引
- 删除死代码 InitDevicePoolTable;新增 rebind_test.go 单测
- 更新 README 与 config.yaml 配置示例,go.mod 新增 go-redis/v9 与 pgx/v5 依赖
 2026-09-29 20:33:37 +08:00
chenxin d710d382ee 🐛 fix(server): 增加优雅退出与请求超时保护 
- 新增 SIGINT/SIGTERM 信号处理与 http.Server.Shutdown,退出前确保统计数据保存、数据库正常关闭
- 为 http.Server 设置 ReadHeaderTimeout/ReadTimeout/WriteTimeout/IdleTimeout,防止慢客户端长期占用连接
- 全局配置指针改为 atomic.Pointer 并提供 GetAppConfig 访问器,消除配置热更新时的数据竞争,同时删除冗余的 manager.config 字段
- 请求统计九组计数器重构为 map[string]*atomic.Int64,统一 incrementStat/getStatsSnapshot 访问,精简约 40 行样板代码
- go mod tidy 清理 go.mod 与 go.sum 中的冗余依赖条目
 2026-09-29 19:47:04 +08:00
chenxin 6981148727 🔧 chore: 初始化番茄小说 API 项目结构 
新增项目基础框架，包含核心 API 实现、算法模块、HTTP 处理器等完整功能模块
 2026-08-28 15:22:22 +08:00