瑞芯微RK3588开发板本地部署7B与14B大模型的经验总结
在 RK3588 系列 ARM 开发板上，7B 模型在 8GB 内存下可稳定运行，但必须搭配消息清洗、ZRAM Swap 和 4096 上下文；14B 模型在 32GB 内存下可部署并输出接近付费 API 的专业报告，但推理速度较慢，且受模型转换时上下文硬上限制约。
实测
标签： rk3588
本地部署
K3588S开发板用rkllama部署7B大模型实战教程
适用平台：ROC-RK3588S-PC 开发板（8GB 内存）操作系统：Ubuntu 22.04 LTS (内核 6.1.118)核心框架：rkllama (GitHub: NotPunchnox/rkllama)模型：Qwen2.5-Co...