Ollama离线翻译方案:本地部署llama3.2模型实现中英文互译不花钱
用 Ollama 本地部署 llama3.2,可以搭出一套不联网、不花钱的中英文离线翻译流程。关键就三步:装好 Ollama、拉取模型、把待译文本喂进去。下面按清单逐项拆开讲。
清单 0:先判断离线翻译适不适合你
本地翻译的第一件事不是装软件,而是确认需求。适合的场景:内网或涉密文档不能出网、商品标题和字段名这类短句海量重复、按量计费的在线翻译接口成本敏感、需要在断网环境里持续产出译文。
不适合的场景同样明确:追求出版级文笔的营销文案、小语种、需要毫秒级响应的高并发接口。
硬件门槛比想象中低。llama3.2 的轻量版本参数规模在 3B 量级,8GB 左右内存的普通笔记本就能跑,纯 CPU 也能出结果,只是速度慢;有独立显卡时吞吐会明显改善,可以用 nvidia-smi 确认驱动是否就绪。如果是给团队用,把 Ollama 装在一台有显卡的机器上,其他同事通过内网访问 11434 端口即可,不必每人装一遍。
另外,“不花钱”指的是不再按字符付费,不是零成本。电费、机器折旧、以及你调试提示词的时间都算投入,只是边际成本接近于零。
清单 1:安装 Ollama 并拉取模型
- 到 ollama.com 下载对应系统的安装包;Linux 上可以直接用一行脚本:
curl -fsSL https://ollama.com/install.sh | sh - 装完验证:
ollama --version,同时确认后台服务已经起来。 - 拉取模型:
ollama pull llama3.2。文件体积在 2GB 量级,取决于具体量化版本;显存吃紧就先试llama3.2:1b。 - 查看本地已有模型:
ollama list;看正在运行的任务:ollama ps。 - 服务默认监听
127.0.0.1:11434,不要把它直接暴露到公网,否则等于给陌生人开了免费推理接口。
清单 2:用 Modelfile 把翻译角色固定下来
每次对话都手写一遍提示词很浪费,用 Modelfile 做成专属模型更省事。在任意目录新建一个文本文件,内容大致是:
FROM llama3.2
PARAMETER temperature 0.2
PARAMETER num_ctx 4096
SYSTEM 你是中英互译引擎。只输出译文,不解释、不加前言。保留原文中的数字、单位、代码块、变量占位符和专有名词。若用户给出术语表,严格按术语表取值。
然后执行 ollama create zh-en -f Modelfile,以后直接 ollama run zh-en 调用。
温度调低是为了减少自由发挥;上下文长度按你的段落长度设,太小会把长句截断。术语表不需要复杂格式,一行一条即可,例如写着“域名 = domain name”,翻译时把它拼在提示词后面,模型会优先按这个对应关系走。
清单 3:三种调用姿势
- 交互式:
ollama run zh-en,粘贴文本回车,适合抽查。 - 管道式:
echo "Hello world" | ollama run zh-en,适合写进 shell 脚本。 - HTTP 接口:
curl http://localhost:11434/api/chat -d '{"model":"zh-en","stream":false,"messages":[{"role":"user","content":"translate to Chinese: Hello"}]}',返回 JSON,方便被其他程序消费。
批量场景建议走接口并用 Python 包一层:读取输入文件、按行或按段调用、把返回的译文写进输出文件,同时把失败的条目单独记下来,方便断点续跑。
清单 4:切分、保护与输出
- 按段落而不是按整篇切分,单次输入控制在上下文限制以内。
- 提前用占位符保护不该被翻译的内容,例如把
{{name}}、代码块、URL 标记出来,翻完再替换回去。 - 输出存成新文件,和原文并排比对,不要直接覆盖原稿。
- 术语表单独维护一份,翻译时拼进提示词,保证同一批文档里同一个词译法一致。
清单 5:质量校验与常见坑
小模型的译文能用,但必须抽查。回译是最省事的检验办法:把译文再翻回中文,看语义有没有偏移。
常见问题集中在几处:数字和单位被改写、专有名词被“翻译”成中文、长句后半段被吞掉、中英混排时标点全角半角混乱。前两个靠提示词约束,第三个靠调大 num_ctx 或减小分段粒度,第四个只能靠后处理规则统一。
和在线翻译引擎相比,本地小模型在长句和俗语上会吃亏,但在术语一致性、数据不出网这两点上更有优势,取舍取决于你的文档类型。速度上也不要抱太高期待,纯 CPU 运行时每秒输出只有几个到十几个 token 的量级,一篇长文的等待时间以分钟计。
把这五份清单跑一遍,你手里就有了一条完全离线的中英互译流水线;剩下的工作,是用你自己的语料去调提示词。
相关工具与阅读
本地翻译流水线通常服务于站点内容生产,下面这些站内工具可以配合着用:页面SEO分析 用来检查译文页面的标题与正文质量,关键词拓词 帮你在多语言选题上找词,百度收录批量查询 跟踪译文页面的收录情况,做多站分发则可以用 188CMS 站群程序。