本地部署大模型

安装 Ollama Ollama 是一个开源的大语言模型运行平台,提供简洁易用的 命令行工具 和 REST A…

安装 Ollama

Ollama 是一个开源的大语言模型运行平台,提供简洁易用的 命令行工具REST API,帮助用户在本地轻松下载、部署和运行各种开源的 LLM(大语言模型)

Ollama 是 Meta 公司推出的模型平台,Meta 公司还推出了自家的大语言模型 Llama

Ollama 特点:

  1. 开源免费
  2. 即装即用
  3. 支持多种模型:Llama、deepseek、qwen…
  4. 本地运行
  5. 灵活扩展
  6. 提供 REST API:本地会启动一个 Web 服务,监听 11434 端口

下载地址:https://ollama.com/download

常用命令:

  1. ollama list:查看已下载模型
  2. ollama show <模型名称>:显示模型信息
  3. ollama pull <模型名称>:拉取模型
  4. ollama run <模型名称>:拉取并且运行模型
    1. 存在:直接运行模型
    2. 不存在:先拉取下来,然后运行
  5. ollama run <模型名称> –verbose:查看每次对话后模型执行的效率细节

默认启动模型后,支持的是长期对话,如果是一次性对话,那么可以:

ollama run <模型名称> "提示词"

也支持多行提示词对话。在启动模型后,将多行对话放入三个双引号里面就能够输入多行提示词。

ollama run llama3.2
>"""
>提示词内容
>提示词内容
>提示词内容
>"""

拉取qwen3.5.0

>ollama pull qwen3.5:0.8b
ollama serve
Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.
ollama run qwen3.5:0.8b

一、Ollama 自带极简页面(仅测试用)

Ollama 启动后默认占用 11434 端口:

# 启动服务(默认已后台运行)ollama serve

浏览器访问:http://localhost:11434

  • 仅显示状态,不能直接聊天,只能 API 调用。

官方模型库

官网模型库 中,Ollama 提供了丰富的模型选型,这些模型大致可以分为两大类:

  1. 语言处理类大模型
  2. 图像处理类大模型

语言处理类大模型(LLMs)

这类模型专注于自然语言生成与理解,常用于文本生成、问答、代码编写、翻译、总结等任务。Ollama 支持的主要语言模型包括:

模型名称来源机构规模(参数量)主要特点
LLaMA 2 / 3Meta7B / 13B / 70B通用语言理解与生成,支持中文、对话能力强
MistralMistral AI7B小而强的模型,推理速度快,多语言支持
GemmaGoogle DeepMind2B / 7B开源许可宽松,轻量且效率高,适合嵌入式应用
PhiMicrosoft2.7B适合教育和低算力环境,训练数据精细设计
Code LLaMAMeta7B+专注于编程任务,如代码补全、代码解释等
Neural ChatIntel多种参数量聊天风格自然,适合交互式对话

此外,Ollama 也支持部分微调版本模型(如 llama2-chinese, mistral-instruct, orca-mini 等),可以根据任务需求选择指令微调或对话优化模型。

这里的参数量以 B 为单位,B 来自于英语单词 billion(十亿),因此例如参数量写的是 7B,则意味着参数量为 70亿。

图像处理类大模型(Vision / Multimodal Models)

Ollama 近期开始逐步支持 图像 + 文本联合建模 的多模态模型(Multimodal),如:

模型名称来源机构模态类型说明
llavaLLaVA 项目图文联合(image+text)支持图像描述、图像问答、OCR 等任务
bakllava社区开源多模态类似 LLaVA,支持多图问答
clipOpenAI图像 + 文本图文相似度匹配,适合搜索、推荐系统

这类模型适合构建如:AI 看图说话、图片问答助手、图像内容搜索等系统。由于涉及图像输入,目前仍需配合本地 API 接口使用,CLI 中支持有限。

Previous Post

Next Post

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

About the Author

每个人都有自己得时区,在自己得时区里,一切都是准时的。

BlockSpare — News, Magazine and Blog Addons for (Gutenberg) Block Editor