乱荷飘零的数据库 管理后台

📌 步骤1：原始文本获取

从PDF或扫描件中提取文本，可用工具：

• PDF文本提取：使用 Copilot 或 ChatGPT 上传PDF获取文本
• OCR识别：使用 Tesseract、腾讯OCR 等识别扫描件
• 在线工具：使用 smallpdf.com 等在线PDF转文本工具

🔧 步骤2：文本清洗（重要！）

需要删除的内容：

• ❌ 页眉、页脚（页号、书名重复）
• ❌ 目录页、序言页
• ❌ 脚注标号但无内容部分
• ❌ 三线表的装饰线
• ❌ 图片描述（如 [图1.1：某某图表]）

保留的内容：

• ✅ 完整的段落和句子
• ✅ 脚注内容（如"[1] 注释"）
• ✅ 表格内容
• ✅ 引用和括号说明

🔄 步骤3：格式标准化

在文本编辑器中执行以下操作：

• 将所有全角空格改为半角空格
• 删除多余的换行符（多个连续空行只保留1行）
• 统一标点符号为简体标点
• 确保行末没有多余的空格

✅ 步骤4：分页处理

每页需要与原PDF页码对应：

• 记录原PDF中该段落对应的页码
• 同一页的内容可以合并为一条记录
• 跨页的长段落按原页码的第一页标记
• 示例：页面1-2的内容标记为"page_number: 1"

⚡ 快速清洗脚本推荐

如果你有大量的书籍数据，可以：

1. 将清洗后的文本按页分割（每页一条）
2. 生成JSON格式数据
3. 使用下面的"批量导入"功能一次性导入