--- title: "張成龍專訪｜從本地模型起步，做出能查資料的 AI 助手" slug: lunglung03 url: https://www.shareschool.com.tw/posts/lunglung03 published_at: 2026-03-01 modified_at: 2026-11-12 author: "龍龍老師" category: "職場技能" access: public_access --- # 張成龍專訪｜從本地模型起步，做出能查資料的 AI 助手 > Python × Ollama 實戰：從本地模型、RAG 與 Rerank，到可驗收的文件問答助手 By **龍龍老師** | 2026-03-01 摘要部門累積了很多作業手冊，新同事遇到問題仍要逐份打開 PDF 找答案；想做 AI 問答工具，又得先處理資料能不能送出公司。擁有超過二十年軟體開發與數據應用經驗的張成龍老師，在這篇專訪中說明：什麼情況下值得先試本地模型、Ollama 跟 Python 在專案中怎麼分工、文件很多時 RAG 和 Rerank 能幫什麼忙、聊天機器人如何擴充成工作助手，以及第一個本地知識庫怎麼驗收。部門累積了很多作業手冊，新的同事遇到問題，還是要逐份打開 PDF 找答案。想做一個 AI 問答工具，又得先處理資料能不能送出公司。如果先在自己的電腦跑起模型，再讓它搭配文件回答，第一個版本可以做到什麼程度？張成龍老師有超過二十年的軟體開發與數據應用經驗。他在學思酷的《從零開始 Python × Ollama 實戰教學：打造企業本地LLM應用程式》中，帶學員練習 Ollama、本地模型開發與企業文件應用。這份專訪文稿從一件常見的工作切入，談怎麼上手、怎麼檢查成果，以及怎麼把做法帶回工作現場。講師介紹｜張成龍AI 實戰落地專家，「龍龍 AI 實戰學院」創辦人現任台灣前二百大上市公司數據應用單位主管，具備超過二十年軟體開發與數據應用架構經驗。台灣人工智慧學校第一期技術領袖班結業，具備國際專案管理師（PMP）資格。經營 YouTube 頻道「龍龍 AI 實戰學院」，分享 AI 工具、開發與自動化實作。於巨匠電腦、104、PPA、Udemy、中華人事主管協會等平台授課，累積上架超過三十部 AI 課程。曾受邀為遠東 SOGO 百貨、行政院人事行政總處公務人力發展學院、財政部財政人員訓練所、新北市警察局及桃園市政府等企業與公部門授課。著有《Google Gemini 全能工作流》、《ChatGPT 5實戰應用》、《ChatGPT 4實戰應用》等書。張成龍老師的教學從真實工作需求出發，重視逐步操作、理解資料如何流動，以及成果能否實際使用。希望學員遇到不同情境時，也有能力調整流程、找出問題。專訪問答Q1：什麼情況下值得先試本地模型？當資料使用有明確限制，或想掌握模型執行環境，我會先評估本地方案。拿公開文件做一個小樣本，就能先看模型回答是否夠用、電腦能不能負荷。本地執行仍要確認應用裡的每一個環節。像是使用外部 OCR 或其他服務時，要另外檢查文件實際送往哪裡。Q2：Ollama 跟 Python 在專案中怎麼分工？Ollama 負責管理並執行模型，Python 則把使用者的輸入、模型呼叫和輸出串起來。初學時，我會先在本機送出一個問題，確認模型能回應。接著再用 Python 把相同請求做成小程式。把輸入和輸出保留在畫面上，你會比較容易知道錯誤出在模型、連線，還是資料格式。Q3：文件很多時，RAG 和 Rerank 能幫什麼忙？RAG 先從文件裡找出相關段落，再把段落和問題一起交給模型。Rerank 可以把初步找到的候選段落再排序，讓較相關的內容優先被採用。我會用同一組問題比較加上重排序前後的結果，逐題回到原文件核對。尤其遇到文件沒提到的問題，要看系統會不會如實說明資料不足。Q4：做出聊天機器人後，可以怎麼擴充成工作助手？可以從文件類型著手。先讓助手處理 PDF，再擴充到文字檔、Word 和簡報。如果要處理會議音檔，可以先轉錄成文字，再把它交給後續整理流程。進一步可以用 OpenWebUI 組織聊天介面與知識庫，或練習讓代理人呼叫工具。每多接一種資料，就多準備一個可獨立驗證的測試。Q5：第一個本地知識庫，怎麼驗收才算做完？先挑一份有小標題和頁碼的公開手冊，準備幾道有明確答案的問題，外加幾道原文完全沒提到的題目。每次回答都回到原文核對段落。如果答案錯了，我會先看檢索有沒有把正確段落找回來，再檢查模型如何解讀。把兩步分開看，改善時才知道該調整什麼。《從零開始 Python × Ollama 實戰教學：打造企業本地LLM應用程式》課程從 Ollama 安裝開始，帶你把本地模型、Python 程式與文件檢索接起來，再延伸到聊天介面與多工具代理。課程重點本地模型入門｜安裝 Ollama，建立第一個本地聊天程式。知識庫實作｜結合 RAG 與 Rerank，練習找出支撐答案的文件段落。多格式助手｜透過 PDF、Word、簡報、語音及圖片案例練習資料處理。應用介面｜用 OpenWebUI 串接本地模型，建構聊天與知識庫應用。代理人開發｜透過 SmolAgents 與 Google ADK 探索多工具協作。這堂課適合想開始用 Python 開發生成式 AI 應用的學習者，以及有文件問答或本地模型需求的技術工作者。帶著一份可以用來測試的文件，從跑出第一個回答，練到能回查支持答案的段落。前往課程頁了解更多 →