GPT-3.5帶起了 LLM 的熱潮 ,但它終究是不開源的模型(畢竟變成 "Close"AI 了);於是就嘗試找方法在邊緣裝置上架設 LLM,而 Meta 的 Llama-2 系列是個不錯的選擇,再搭配網路上的教程(使用 GitHub 的 llama.cpp ),建置了這個 CodeLlama -7b -Instruct。(不過要吐嘲,我東拼西湊教程才架設成功@@)
右圖運行的是 Microsoft 的 Phi-2 ;我也嘗試在 Rspberry Pi 5 上運行了 Llama-2 / Llama-2-chat / CodeLlama-Instruct ,甚至 Taiwan-LLM, 都有點卡頓,甚至開不起來,Phi-2 則是表現最好、最流暢的。(必須吐嘲 Llama-2 系列跟 CodeLlama 編程能力差有點多)
備註:不知道是不是瑕疵,嘗試架設過程燒了一塊 Rspberry Pi 5 的通訊模組(在 8GB Ram 超級難買的時候...)
逛蝦皮看到的GPS模組,好奇精度所以就買回來試試,不過沒找到原始範例程式碼,於是丟給 Chat-GPT 生成,順便加註釋,我再手動修改。 (題外話跟 iPhone 顯示的差不多)