我家裡有一張 NVIDIA GeForce RTX 2070 顯卡，每次在 Hugging Face 看到一些不錯的 AI 模型想在本機跑起來，無奈 GRAM 只有 8GB 而已，連個 7B 的 LLM 模型都跑不起來。上個月我在上海參加 2023 Google I/O Connect 大會，認識了一位 GDE 在 Lepton AI 工作，他們公司主要做 LLMOps 工具，可以無腦的將許多開源的 LLM 模型部署起來，而且還有免費的 GPU 資源可以使用，這樣就可以讓我們這些沒有太多 GPU 資源的開發者也可以輕鬆的玩 LLM 了。這篇文章我打算來介紹一下如何使用 Lepton AI 的工具在本機與雲端部署台灣最近釋出的 Taiwan-LLM-7B 模型。
... 繼續閱讀 ...
如果你在 Azure Artifacts 建立一個 npm Registry 讓前端團隊存取私有的 npm 套件，最先需要克服的問題就是要如何通過身分認證，但這部分的設定在 Windows 與在 Linux/macOS 設定步驟是不一樣的，這篇文章將說明如何正確的在 Windows 與 Linux/macOS 進行設定。
... 繼續閱讀 ...
今天收到一個 Angular 9 的老舊專案，由於我電腦目前的 Node.js 版本太新，無法正常開發，由於我只是單純的想在本機建置專案，所以決定使用 Docker 容器來準備建置環境。這篇文章我就來分享如何快速在容器中打造一個 Angular 的建置環境。
... 繼續閱讀 ...