本地部署LLM，windows+WSL傻瓜部署
#cmd安装wsl
wsl --install
#我电脑重启才正常，默认安装Ubuntu，可命令行 wsl -d ubuntu进入。
sudo apt update
sudo apt upgrade -y
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b
#docker 安装
curl -fsSL https://test.docker.com -o test-docker.sh
sudo sh test-docker.sh
#open-webui部署容器
sudo docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main
#在浏览器输入 localhost:8080 即可使用。下发是为了安装文生图的扩散器
#安装依赖包
sudo apt install -y make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev libncurses5-dev xz-utils tk-dev libffi-dev liblzma-dev python3-openssl git
#安装pyenv，python切换工具
curl https://pyenv.run | bash
export PYENV_ROOT="$HOME/.pyenv"
[[ -d $PYENV_ROOT/bin ]] && export PATH="$PYENV_ROOT/bin:$PATH"
eval "$(pyenv init -)"
source .bashrc
pyenv install 3.10
pyenv global 3.10.15
mkdir stablediff
cd stablediff/
wget -q https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui/master/webui.sh
chmod +x webui.sh
./webui.sh
#输入localhost:7860访问，后续集成到open-webui调用使用 ./webui.sh --listen --api一些使用命令
#webui 后台api
./webui.sh --listen --api
#显卡使用率查看
watch -n 0.5 nvidia-smi