前幾天 OpenAI 悄悄的發佈了 Whisper 的最新 turbo 模型，這是一個多國語言的模型 (Multilingual model)，而且這個 turbo 模型是 large-v3 模型的優化版本，提供更快的轉錄速度，但準確性卻只有輕微下降，整體參數數量只比 medium 模型稍微大一點點而已。我特別為此打造了一個可以利用 NVIDIA 的 CUDA 加速執行的 Docker 映像檔，讓大家可以輕鬆的在自己的電腦上執行這個模型。
... 繼續閱讀 ...
深度學習模型在自然語言處理 (NLP) 領域中扮演著重要的角色，而調整模型的參數可以影響生成的文字風格和品質。在大語言模型中，Temperature、Top-P 和 Top-K 是常見的參數，用於控制文字生成過程中的隨機性和創造性。我自己在開發 LLM 應用時，主要也都只會去調整 Temperature 而已，其實 Top-P 與 Top-K 很少去調他，因為每次調整都沒有什麼好結果，之前因為不太理解這兩個參數的真正含意，最後還是回歸預設值處理。這篇文章我打算好好的理一理這幾個參數的真正含意。
... 繼續閱讀 ...
昨晚 OpenAI 的 2024 春季更新發佈會，宣布了最新的 GPT-4o 模型，其中最讓我好奇的地方是，他將 Tokenizer 的詞彙表擴充了兩倍之多，理論上整體的文字處理速度會提升，且呼叫 API 的成本也會大幅降低。我就好奇到底他們增加了哪些詞彙？這篇文章將介紹如何用 Python 取得這個詞彙表的內容。
... 繼續閱讀 ...
在 GitHub 上面有許多可以呼叫 GPT-3.5 或 GPT-4 的開源專案，但大多都僅支援 OpenAI 提供的 API 端點。如果你想要將這些專案改成呼叫 Azure OpenAI Service (AOAI) 的 API 端點的話，沒用過 AOAI 的人就會不知道怎樣調整。今天這篇文章我打算來整理一下幾個重要的背景知識，方便你快速的轉換過去。
... 繼續閱讀 ...
由於大多數 LLM 模型都有 Token 數量的限制，因此我們在開發 Generative AI (GAI) 應用程式時，都會對 Token 的用量斤斤計較，因此我們需要一個可以計算 Token 數量的函式庫，而在 .NET 世界裡 SharpToken 套件不但可以對文字進行編碼(Tokenize)與解碼，還可以用來計算文字的 Token 數量。今天這篇文章我就來介紹這個好用的 NuGet 套件。
... 繼續閱讀 ...