使用open-webui連線LM Studio伺服器

筆者使用Windows11作業系統。

open-webui需要Python3.11以上，建立虛擬環境。

Step1)建立虛擬環境

#conda create -n   LLM  python=3.11

#conda activate LLM

Step2)安裝open-webui，安裝許多套件，需要一些時間

(LLM) #pip install open-webui

Step3)啟動open-webui

(LLM) #open-webui  serve

看到以下畫面表示啟動成功。

Step4)使用瀏覽器連線http://127.0.0.1:8080/，新增管理者使用者帳號與密碼

Step5)設定連線LM Studio，LM Studio需要啟動API伺服器，如下圖。

Step6)open-webui設定連線本機LM Studio API伺服器，點選「設定->連線」的「管理OpenAI API」的右方「+」。

網址的部分輸入「http://127.0.0.1:1234/v1」，金鑰部分隨便輸入例如：「a」，不允許空白。

Step7)選擇LM Studio模型，連線成功可以看到LM Studio的所有模型，下拉選單選擇一個。

Step8)在該模型下，進行對話，可以隨時切換到不同模型。