RAG 分块预览器

#RAG 分块预览器是什么？

RAG 分块预览器是一款面向 RAG（检索增强生成）知识库建设者的在线调参工具。把文档粘贴进来，选择固定长度（fixed）、递归（recursive）或 Markdown 标题（markdown）三种切分策略， 实时看到每个 chunk 的字符数、token 估算、在原文中的行号范围，以及相邻块之间的重叠内容（浅蓝高亮）；调整 chunk size 与 overlap 后结果自动重算， 调好后一键导出 JSONL，直接交给 Embedding 模型向量化入库。所有计算都在浏览器本地完成，适合在批量入库前快速验证分块边界是否合理。

RAG 里的 chunk 是什么？

chunk（块）是 RAG 知识库检索的最小单位：长文档不会整篇送入向量数据库，而是先被切成若干段文本，每段单独计算 Embedding 向量。 用户提问时，系统把问题也向量化，召回与问题最相似的 Top-K 个 chunk，拼进 Prompt 交给大模型生成回答。chunk 切得太碎，单块信息量不足、语义不完整； 切得太大，关键信息被稀释、检索命中率下降还会浪费 token。分块质量直接决定 RAG 检索质量的上限。

chunk size 和 overlap 怎么选？

社区的主流共识口径：chunk size 取 256-512 token，overlap 取 chunk size 的 10%-20%。中文按「1 字 ≈ 1 token」估算，256-512 token 大约对应 250-500 个汉字。 事实型问答（FAQ、手册）可偏向较小块（256 token 左右）提高命中精度；长上下文推理、技术文档可偏向较大块（512 token）保留更多语境。 overlap 保证跨块边界的句子不会完全丢失语义，过小容易切断上下文，过大则大量重复内容浪费存储与 token，一般 10%-20% 是性价比最高的区间。

三种切分策略怎么选？

• 固定长度（fixed）：按 chunk size 硬切，实现最简单、块长完全可控，适合格式统一的纯文本、日志等；缺点是常把句子从中间切断。
• 递归（recursive）：按「段落 → 句子 → 空格 → 字符」分隔符优先级逐级降级，尽量在语义边界收尾，是 LangChain 等框架的默认策略，中英文文档的首选。
• Markdown（markdown）：先按标题层级把文档切成大段（天然语义边界），超长段内再递归切分，最适合带标题结构的 Markdown 文档、Wiki、技术手册。

固定长度切分 vs 语义切分

固定长度切分只看字符数，优点是可预期、向量长度分布均匀，缺点是无视语义，可能把一句话、一个论点切成两半。语义切分（本页的 recursive / markdown 属于简化版） 依据换行、句号、标题等自然边界下刀，块更接近完整语义单元，检索命中率通常更高，代价是块长不均、实现稍复杂。实践中的折中做法：用语义边界切分， 同时保留 chunk size 上限与 overlap 兜底——这正是递归策略的工作方式。

本工具的数据会上传吗？

不会。分块、token 估算、JSONL 导出全部在你的浏览器内存中完成，不发送任何网络请求，刷新页面后数据即清空，可以放心粘贴内部文档调试分块策略。

#常见问题 (FAQ)