ubuntu 安装配置 ollama ,添加open-webui
后台-插件-广告管理-内容页头部广告(手机) |
ubuntu 安装配置 ollama
- 下载安装 [https://ollama.com/download](https://ollama.com/download)
- 安装方法 1 命令行下载安装
- 安装方法 2 , 手动下载安装
- 配置模型下载路径
- 运行
- 1 启动 ollama 服务
- 2 运行大模型
- 其它
- 关闭 ollama 服务
- 配置文件,按需修改
- 查看模型文件信息路径
- 添加open-webui
- 方法1,docker 拉取现有的镜像,创建容器运行
- 方法2,open-webui源码构建docker镜像
下载安装 https://ollama.com/download
安装方法 1 命令行下载安装
curl -fsSL https://ollama.com/install.sh | sh- 1
安装方法 2 , 手动下载安装
1 手动下载 https://ollama.com/install.sh 这个文件
2 注释掉下载部分 curl xxxx 手动下载ollama-linux-{ARCH}
status "Downloading ollama..." #curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"- 1
- 2
我电脑intel/amd cpu 所以 {ARCH} = amd64
浏览器下载 https://ollama.com/download/ollama-linux-amd64
放在 install.sh 同目录下
3 注释掉 #$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
改为下面一行:
- 1
- 2
- 3
- 4
4 运行 install.sh ,安装
./install.sh- 1
需要sudo 权限, 安装完毕
配置模型下载路径
gedit .bashrc- 1
然后添加一行 配置 OLLAMA_MODELS 环境变量自定义路径
### ollama model dir 改为自己的路径 export OLLAMA_MODELS=/path/ollama_cache- 1
- 2
如果开始没配置OLLAMA_MODELS ,默认路径是
/usr/share/ollama/.ollama/models- 1
如果修改了OLLAMA_MODELS环境变量,把之前下载的 OLLAMA_MODELS 目录变量下的两个目录
blobs manifests- 1
复制到新的OLLAMA_MODELS目录变量下 ,即可
运行
1 启动 ollama 服务
ollama serve- 1
2 运行大模型
ollama run <模型名称>
运行 千问 大模型
- 1
模型下载到刚才的OLLAMA_MODELS 环境变量下
其它
关闭 ollama 服务
service ollama stop- 1
配置文件,按需修改
sudo gedit /etc/systemd/system/ollama.service- 1
查看模型文件信息路径
ollama show <模型> --modelfile
ollama show qwen --modelfile- 1
- 2
添加open-webui
确保网络代理关闭 ubuntu 系统,设置,网络代理,选择->关闭
参考 官方文档 https://docs.openwebui.com/getting-started/
以下容器 运行之后,需要等一会,再访问 http://127.0.0.1:8080/
注册 open-webui 账号然后用账号登录,效果如下:
方法1,docker 拉取现有的镜像,创建容器运行
OLLAMA_BASE_URL 指定 ollama 服务地址 ,可以是本地也可以是远端
docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main- 1
方法2,open-webui源码构建docker镜像
下载open-webui 源码
https://github.com/open-webui/open-webui
编译运行open-webui 的 Docker 镜像
./run-compose.sh --enable-gpu --build- 1
1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。
在线投稿:投稿 站长QQ:1888636
后台-插件-广告管理-内容页尾部广告(手机) |