17 lines
218 B
Markdown
17 lines
218 B
Markdown
# Chunking
|
|
|
|
## 原则
|
|
|
|
优先保持语义完整性，而不是机械固定长度切分。
|
|
|
|
考虑：
|
|
|
|
- 标题层级
|
|
- 段落
|
|
- 代码块
|
|
- 表格
|
|
- 文档结构
|
|
- Token 长度
|
|
|
|
Chunk 必须携带可追溯 metadata。
|