Thinking Machines Lab 公開容量約20GB的人工智慧模型 Inkling 2 Mini,可直接在 Apple Silicon 裝置上執行,定位為本地 AI 模型。
公開模型卡指出,支援對象為記憶體至少32GB的 Apple Silicon 裝置,模型檔案大小約20GB。
本地執行時,儲存空間與記憶體各自扮演不同角色。模型檔案存放在儲存裝置,執行過程則使用記憶體。
因此,即使搭載 Apple Silicon,記憶體低於32GB的裝置也不在公開資料列出的支援條件內。模型檔案容量與記憶體要求不能相互替代。
本地 AI 是以使用者裝置取代外部伺服器執行模型的方式。使用者不需呼叫服務供應商的 API,但要自行準備模型檔案與執行工具。
這種方式讓模型請求的處理位置與使用環境不同於以伺服器為中心的服務;相對地,使用者必須自行確保裝置具備足夠的運算效能與儲存空間。
模型頁面標示 Apache 2.0 授權,並另行提供 Acceptable Use Policy(可接受使用政策)。
Apache 2.0 是可用於模型修改與發布的開放授權之一;另行提供的使用政策則列出模型使用時適用的條件。
開發者若把 Inkling 2 Mini 整合進產品或服務,不能只依 Apache 2.0 文字判斷使用範圍,還要同時檢視授權與使用政策內容。
5日,Thinking Machines Lab 也公開了Inkling 2 Small 模型。該模型採專家混合(Mixture-of-Experts,MoE)架構,總計5940億個參數,推理時啟用170億個參數。
Inkling 2 Small 支援影像輸入與推理量調整。當時可在 Thinking Machines Lab 的 Tinker 上使用,但無法下載權重。
Thinking Machines Lab 7月也推出 Inkling 與 Inkling-Small。前者總計9750億個參數,推理時啟用410億個;後者總計2760億個參數,推理時啟用120億個。
MoE 只啟用處理輸入所需的部分專家,將總參數規模與實際計算量區分開來。即使總參數數量龐大,也不代表每次都同時使用全部參數。
Inkling 2 Mini 的公開資料明列 Apple Silicon 裝置及至少32GB記憶體的本地執行條件,並同時說明公開範圍與執行環境。
使用者執行前應確認記憶體至少32GB,並確保有足夠空間儲存約20GB模型檔案;Apache 2.0 授權與另行提供的使用政策也需一併檢視。
Comment 0