我們都知道 ChatGPT 在問答的過程中，不時會有「幻覺」的問題，也就是當 ChatGPT 在回答問題的時候，經常表現的自己很懂，但又常常被發現他其實是在胡說八道的狀況。最近 ChatGPT 正式推出了「搜尋」功能，我們終於可以讓 ChatGPT 基於「搜尋結果」來回答問題，如此一來不但可以避免 ChatGPT 的幻覺問題，也可以讓 ChatGPT 回答的更加準確。今天這篇文章，我打算來分享幾個使用 ChatGPT Search 的應用技巧，這也是我在 ChatGPT 錦囊妙計：掌握九大應用場景的創意用法 課程中跟學員分享的其中一個技巧。
... 繼續閱讀 ...
因為我所開辦的課程都會全程錄影，好讓學員可以複習課程內容，最近幾次的課程我還開始幫影片上字幕，讓大家在複習的時候，更能夠理解我在課程中提到的一些偏技術的「專有名詞」。有些不住在臺灣的學員，也有可能會聽不懂臺灣這邊經常聽到的時事或口頭禪，我時常會在課程中講一些「時事梗」來活絡氣氛，但是有些學員可能會聽不太懂，這些字幕就是為了讓大家更容易理解課程內容與笑點。我幾乎都是利用超大上下文視窗(context window)的 Google AI Studio 來幫我校正 Whisper 產生的字幕，這篇文章我就來教大家這個技巧。
... 繼續閱讀 ...
前幾天 OpenAI 悄悄的發佈了 Whisper 的最新 turbo 模型，這是一個多國語言的模型 (Multilingual model)，而且這個 turbo 模型是 large-v3 模型的優化版本，提供更快的轉錄速度，但準確性卻只有輕微下降，整體參數數量只比 medium 模型稍微大一點點而已。我特別為此打造了一個可以利用 NVIDIA 的 CUDA 加速執行的 Docker 映像檔，讓大家可以輕鬆的在自己的電腦上執行這個模型。
... 繼續閱讀 ...
我在一小時 No-Code 打造可搜尋的 AI 知識庫系統 (RAG)課程中有準備一個知識庫範例，可以將整份 angular.dev 網站轉成知識庫所需的文字檔案。由於 angular.dev 網站內容都是開源的，放在 GitHub 的 angular/angular Repo 中的 adev 目錄下。但這個 Repo 有 30,486 個 Commits，檔案數與下載量都非常大，如果只想取得特定目錄下的檔案，就需要動用一些 Git 的進階技巧，今天我想來分享一下我是如何快速下載 Git Repo 中特定資料夾下的所有 *.md 檔案，並且批次轉成 *.txt 的過程。
... 繼續閱讀 ...
深度學習模型在自然語言處理 (NLP) 領域中扮演著重要的角色，而調整模型的參數可以影響生成的文字風格和品質。在大語言模型中，Temperature、Top-P 和 Top-K 是常見的參數，用於控制文字生成過程中的隨機性和創造性。我自己在開發 LLM 應用時，主要也都只會去調整 Temperature 而已，其實 Top-P 與 Top-K 很少去調他，因為每次調整都沒有什麼好結果，之前因為不太理解這兩個參數的真正含意，最後還是回歸預設值處理。這篇文章我打算好好的理一理這幾個參數的真正含意。
... 繼續閱讀 ...
昨晚 OpenAI 的 2024 春季更新發佈會，宣布了最新的 GPT-4o 模型，其中最讓我好奇的地方是，他將 Tokenizer 的詞彙表擴充了兩倍之多，理論上整體的文字處理速度會提升，且呼叫 API 的成本也會大幅降低。我就好奇到底他們增加了哪些詞彙？這篇文章將介紹如何用 Python 取得這個詞彙表的內容。
... 繼續閱讀 ...
我之前寫過一篇鉅細靡遺的如何透過 FFmpeg 將 SRT 字幕檔寫入到 MP4 影片檔中文章，也寫過一篇如何使用 FFmpeg 進行圖片壓縮與製作家庭影片文章，我覺得已經涵蓋了許多應用情境了。前陣子嘗試用 Gemini API 翻譯國外知名的 Podcast 節目，想說把翻譯好的轉錄稿直接跟 MP3 聲音檔結合，配一張圖片，就可以輸出個含字幕的 MP4 影片了，方便我邊聽、邊看字幕、邊學英文，誰知道 AI 問個老半天都問不出來。最終我還是搞定了這個需求，這篇文章來記錄一下重要的背景知識與觀念。
... 繼續閱讀 ...
不知道大家有沒有這種經驗？就算你裝了 Python 之後還是問題一大堆，沒事的時候就沒事，但只要一出問題就會搞好幾個小時查問題。這篇文章就是要寫給 Python 新手的執行環境安裝手冊。
... 繼續閱讀 ...
我自從寫了 介紹好用工具：Ollama 快速在本地啟動並執行大型語言模型 文章後，就幾乎都在本機用 Ollama 執行各種大語言模型的推論。由於幾天前 TAIDE 團隊發表了一套符合台灣語言和文化特性的大語言模型(TAIDE-LX-7B)，我當下就立刻用 Ollama 跑起來了。這篇文章我將分享幾個簡單的小步驟，幫助大家也可以很順利的在本機將 TAIDE-LX-7B-Chat-4bit 模型跑起來。
... 繼續閱讀 ...