# Markdown 处理工具

这是一个用于处理 Markdown 文件的工具，它可以根据一级标题将文件内容分块，然后使用大型语言模型（LLM）处理每个块，最后将处理后的结果合并生成新的 Markdown 文件。

## 功能特点

- 读取 Markdown 文件
- 根据一级标题（#）对文件内容进行切分
- 确保每个块的长度小于指定的最大长度
- 使用 LM-Studio 的 OpenAI 兼容接口处理每个块
- 合并处理后的结果生成新的 Markdown 文件

## 安装要求

- Python 3.6+
- OpenAI Python 库
- LM-Studio（用于本地运行大语言模型）

## 安装依赖

```bash
pip install openai
```

## 使用方法

1. 确保 LM-Studio 已启动并运行在默认端口（http://localhost:1234）

2. 运行脚本处理 Markdown 文件：

```bash
python markdown_processor.py input.md output.md
```

### 命令行参数

- `input_file`：输入的 Markdown 文件路径（必需）
- `output_file`：输出的 Markdown 文件路径（必需）
- `--max_length`：每个块的最大长度，默认为 4000
- `--model`：使用的 LLM 模型名称，默认为 'gpt-3.5-turbo'
- `--api_base`：API 基础 URL，默认为 'http://localhost:1234/v1'

### 示例

```bash
# 基本用法
python markdown_processor.py my_document.md processed_document.md

# 指定最大块长度
python markdown_processor.py my_document.md processed_document.md --max_length 2000

# 指定不同的模型和API地址
python markdown_processor.py my_document.md processed_document.md --model llama3 --api_base http://localhost:8000/v1
```

## 工作原理

1. 读取指定的 Markdown 文件
2. 根据一级标题（#）将内容分块，确保每个块小于指定的最大长度
3. 使用 LM-Studio 的 OpenAI 兼容接口处理每个块
4. 将处理后的块合并生成新的 Markdown 文件
5. 保存结果到指定的输出文件

## 注意事项

- 确保 LM-Studio 已经启动并正在运行
- 如果没有一级标题，整个内容将作为一个块处理
- 如果单个块超过最大长度，将进一步分割