瑞芯微RK3588开发板本地部署7B与14B大模型的经验总结
在 RK3588 系列 ARM 开发板上，7B 模型在 8GB 内存下可稳定运行，但必须搭配消息清洗、ZRAM Swap 和 4096 上下文；14B 模型在 32GB 内存下可部署并输出接近付费 API 的专业报告，但推理速度较慢，且受模型转换时上下文硬上限制约。
实测
分类： 实测
实测
Orange Pi 32G · 14B 大模型部署实战
从踩坑到稳定运行：NPU、llama.cpp、Ollama 终极方案 🖥️ 硬件环境 开发板Orange Pi 5B (RK3588) 内存32GB LPDDR4 存储eMMC / NVMe SSD NPU6 TOPS (RK3588) 📌...