Ollama WebUI 安装使用（pip 版）
Open WebUI (Formerly Ollama WebUI) 也可以通过 docker 来安装使用 1. 详细步骤 1.1 安装 Open WebUI # 官方建议使用 python3.11（2024.09.27），conda 的使用参考其他文章 conda create -n op...
Xinference 安装使用（支持CPU、Metal、CUDA推理和分布式部署）
1. 详细步骤 1.1 安装 # CUDA/CPU pip install 'xinference[transformers]' pip install 'xinference[vllm]' pip install 'xinference[sglang]' # Metal(MPS) pip install 'xinference[mlx]' CM...
