从踩坑到稳定运行：NPU、llama.cpp、Ollama 终极方案

🖥️ 硬件环境

开发板Orange Pi 5B (RK3588)

内存32GB LPDDR4

存储eMMC / NVMe SSD

NPU6 TOPS (RK3588)

📌 最终稳定方案

日常飞书交互：Ollama (CPU) + 自定义消息清洗代理 (Flask) → 响应时间约 5-10 分钟
定时 BTC 分析：Ollama 直连 (无清洗代理) 或 使用 RKLLM 官方 server (NPU) → 30 分钟生成深度报告

🗺️ 部署演进路线 (四阶段)

1. NPU 原生 (rkllama / RKLLM server) ： 尝试官方工具链，遇到 Runtime 1.2.3 / 1.3.0 版本冲突。
2. llama.cpp CPU 推理： 绕过 NPU 版本问题，但遭“僵尸回复” (KV 缓存污染) 和推理极慢。
3. Ollama 统一服务： 解决会话污染，但首次响应 43 分钟 (上下文过长)。
4. Ollama + 清洗代理： 压缩 prompt 至 ~600 tokens，响应缩短至 5-12 分钟，稳定运行。

⚙️ 关键技术细节

1. NPU 部署 (RKLLM)

模型转换工具 rkllm-toolkit 1.3.0 生成的 .rkllm 文件只能被同版本的 librkllmrt.so 加载。开发板预装的 rkllama 依赖 Runtime 1.2.3，与微调后的 1.3.0 模型不兼容。
✅ 解决： 直接使用官方 rkllm_server_demo/flask_server.py (配套1.3.0)，通过 --rkllm_model_path 启动。固定上下文 4096。

2. llama.cpp 与“僵尸回复”

现象： 每次提问都返回同一段 Python 代码或 Darknet 源码。
根因： KV 缓存磁盘持久化 + 会话未隔离。即使重启服务，模型仍续写旧缓存。
✅ 彻底解决： 迁移至 Ollama。若临时用 llama.cpp，需删除 cache 目录并添加 --no-kv-offload。

3. Ollama 安装与模型导入

因网络受限，离线安装 ollama-linux-arm64.tar.zst。解压后手动复制 bin/ollama 和 lib/ollama/ 至系统路径。
通过 Modelfile 导入微调后的 GGUF：

FROM /home/orangepi/models/deepseek-r1-btc-14b.Q6_K.gguf
PARAMETER num_ctx 4096

执行 ollama create deepseek-r1-btc-14b:latest -f Modelfile 完成注册。

4. 上下文爆炸与清洗代理

OpenClaw 发来的消息包含大量系统提示、工具定义和历史，总计近 5000 tokens，导致预处理耗时 33 分钟。
✅ 清洗策略： 在 Firefly 上部署 Flask 代理 (message_cleaner.py)：

• 剥离 <think> 标签、HTML 标记
• 系统消息截断至 100 字符
• 单条用户消息最长 300 字符
• 只保留 content 和 tool_calls，丢弃冗余元数据

经过清洗，简单问候的 prompt 从 4943 tokens 压缩至 622 tokens，预处理降至 2.7 分钟。

🧪 推理速度优化总结

Q4_K_M 量化速度提升 ~30%

绑定大核taskset -c 4-7

减少上下文4096 足够日常对话

关闭并发OLLAMA_NUM_PARALLEL=1

🚧 典型踩坑记录

• ❌ rkllama 与 1.3.0 模型混用 → 模型加载失败。必须整套 Runtime 匹配。
• ❌ 14B 模型 W8A8 在 NPU 上内存超限 (虽 32GB 但 NPU 专用内存有限)，最终 CPU 推理更稳定。
• ❌ OpenClaw 出现 “Missing API key” → provider 的 apiKey 字段不能缺失，通常填 "unused"。
• ❌ 飞书消息无回复但 Ollama 已返回 → DeepSeek-R1 的 content 为空，需在清洗代理中将 reasoning_content 复制到 content。
• ❌ 单条消息触发多次推理 → OpenClaw 超时重试。需延长 timeoutSeconds 至 1800 秒。

📈 当前系统架构

[飞书] → [OpenClaw (Firefly)] → [清洗代理 :18888] → [Ollama :11434 (Orange Pi)]
                                    ↑ 剥离元数据、压缩上下文
[定时BTC脚本] ──── 直连 ────→ [Ollama (完整prompt)]
  

✅ 最终检查清单

• ✓ Ollama 服务后台运行 (nohup ollama serve)
• ✓ 清洗代理监听 18888 端口
• ✓ OpenClaw 配置文件指向清洗代理
• ✓ 飞书 historyLimit=1，上下文 4096
• ✓ BTC 脚本直接调用 Ollama，模型名 deepseek-r1-btc-14b:latest