你的 GPU,任何工具都能用。
AI 對話模組內建 OpenAI 相容 API — 把本機算力提供給第三方應用:終端 coding agent、編輯器外掛、自動化腳本。零 API 費用、不排隊,你的程式碼與提示詞不出機。
三步接上
啟動模型後,對話模組同時是一個本機推論服務 — 任何支援自訂端點的工具都能直接連上。
- 1
在 App 啟動模型
打開 AI 對話,選擇並啟動一個已下載的模型 — 它就是 API 背後的推論引擎。
- 2
取得端點資訊
側邊欄「API 配置」頁會列出 Base URL 與可用的模型名稱,複製即可。
- 3
填進你的工具
在第三方工具的自訂供應商設定填入 Base URL 與模型名稱 — 完成,開始用自己的 GPU 推論。
範例:用 opencode 在終端機寫程式
opencode 是開源的終端 AI coding agent。把它指向本機端點,你的編碼助手就完全跑在自己的 GPU 上 — 讀 code、改 code、跑指令,全程離線。
在 opencode 的自訂供應商(custom provider)設定中,只需要三個資訊:
設定格式以 opencode 官方文件的 custom provider 章節為準;端點與模型名稱以 App 內「API 配置」頁顯示為準。任何支援自訂 OpenAI 相容供應商的工具(編輯器外掛、聊天客戶端、腳本)都是同樣三個資訊。
工具拿到的,是完整的推論服務
OpenAI 相容
標準 chat completions 端點(/v1),支援 SSE 串流回應 — 為 OpenAI API 寫的工具幾乎都能直接用。
Anthropic 相容
另提供 Anthropic 相容端點(/anthropic/v1),為 Claude API 設計的工具也接得上。
本機端點
服務跑在你電腦的 2918 埠;預設只綁本機(127.0.0.1),資料不出你的電腦。
串流回應
SSE 串流照常運作 — coding agent 的逐字輸出體驗與雲端 API 無異。
上下文與參數
上下文長度與生成參數依你所選的模型而定,與 App 內對話同一套引擎。
零額度焦慮
沒有 token 計費、沒有速率限制方案 — 上限就是你的硬體。
使用前該知道的事
預設 API 只綁本機。要讓同一網路的其他電腦使用,可在設定開啟 LAN 模式 — 此介面不設連線認證,請只在信任的網路開啟,並勿暴露於公開網際網路。
回應速度與可用的上下文長度,由你的 GPU 與所選模型決定。
經 API 使用同樣受使用者授權合約與可接受使用條款(AUP)約束。