部門累積了很多作業手冊，新的同事遇到問題，還是要逐份打開 PDF 找答案。想做一個 AI 問答工具，又得先處理資料能不能送出公司。
如果先在自己的電腦跑起模型，再讓它搭配文件回答，第一個版本可以做到什麼程度？
張成龍老師有超過二十年的軟體開發與數據應用經驗。他在學思酷的《從零開始 Python × Ollama 實戰教學：打造企業本地LLM應用程式》中，帶學員練習 Ollama、本地模型開發與企業文件應用。
這份專訪文稿從一件常見的工作切入，談怎麼上手、怎麼檢查成果，以及怎麼把做法帶回工作現場。
講師介紹｜張成龍
AI 實戰落地專家，「龍龍 AI 實戰學院」創辦人
- 現任台灣前二百大上市公司數據應用單位主管，具備超過二十年軟體開發與數據應用架構經驗。
- 台灣人工智慧學校第一期技術領袖班結業，具備國際專案管理師（PMP）資格。
- 經營 YouTube 頻道「龍龍 AI 實戰學院」，分享 AI 工具、開發與自動化實作。
- 於巨匠電腦、104、PPA、Udemy、中華人事主管協會等平台授課，累積上架超過三十部 AI 課程。
- 曾受邀為遠東 SOGO 百貨、行政院人事行政總處公務人力發展學院、財政部財政人員訓練所、新北市警察局及桃園市政府等企業與公部門授課。
- 著有《Google Gemini 全能工作流》、《ChatGPT 5實戰應用》、《ChatGPT 4實戰應用》等書。
張成龍老師的教學從真實工作需求出發，重視逐步操作、理解資料如何流動，以及成果能否實際使用。希望學員遇到不同情境時，也有能力調整流程、找出問題。
專訪問答
Q1：什麼情況下值得先試本地模型？
當資料使用有明確限制，或想掌握模型執行環境，我會先評估本地方案。拿公開文件做一個小樣本，就能先看模型回答是否夠用、電腦能不能負荷。
本地執行仍要確認應用裡的每一個環節。像是使用外部 OCR 或其他服務時，要另外檢查文件實際送往哪裡。
Q2：Ollama 跟 Python 在專案中怎麼分工？
Ollama 負責管理並執行模型，Python 則把使用者的輸入、模型呼叫和輸出串起來。初學時，我會先在本機送出一個問題，確認模型能回應。
接著再用 Python 把相同請求做成小程式。把輸入和輸出保留在畫面上，你會比較容易知道錯誤出在模型、連線，還是資料格式。
Q3：文件很多時，RAG 和 Rerank 能幫什麼忙？
RAG 先從文件裡找出相關段落，再把段落和問題一起交給模型。Rerank 可以把初步找到的候選段落再排序，讓較相關的內容優先被採用。
我會用同一組問題比較加上重排序前後的結果，逐題回到原文件核對。尤其遇到文件沒提到的問題，要看系統會不會如實說明資料不足。
Q4：做出聊天機器人後，可以怎麼擴充成工作助手？
可以從文件類型著手。先讓助手處理 PDF，再擴充到文字檔、Word 和簡報。如果要處理會議音檔，可以先轉錄成文字，再把它交給後續整理流程。
進一步可以用 OpenWebUI 組織聊天介面與知識庫，或練習讓代理人呼叫工具。每多接一種資料，就多準備一個可獨立驗證的測試。
Q5：第一個本地知識庫，怎麼驗收才算做完？
先挑一份有小標題和頁碼的公開手冊，準備幾道有明確答案的問題，外加幾道原文完全沒提到的題目。每次回答都回到原文核對段落。
如果答案錯了，我會先看檢索有沒有把正確段落找回來，再檢查模型如何解讀。把兩步分開看，改善時才知道該調整什麼。
《從零開始 Python × Ollama 實戰教學：打造企業本地LLM應用程式》
課程從 Ollama 安裝開始，帶你把本地模型、Python 程式與文件檢索接起來，再延伸到聊天介面與多工具代理。
課程重點
- 本地模型入門｜安裝 Ollama，建立第一個本地聊天程式。
- 知識庫實作｜結合 RAG 與 Rerank，練習找出支撐答案的文件段落。
- 多格式助手｜透過 PDF、Word、簡報、語音及圖片案例練習資料處理。
- 應用介面｜用 OpenWebUI 串接本地模型，建構聊天與知識庫應用。
- 代理人開發｜透過 SmolAgents 與 Google ADK 探索多工具協作。
這堂課適合想開始用 Python 開發生成式 AI 應用的學習者，以及有文件問答或本地模型需求的技術工作者。
帶著一份可以用來測試的文件，從跑出第一個回答，練到能回查支持答案的段落。