新聞 
幣種資訊 
關於我們 
Google 與 Amazon 陸續推出工具，協助開發者在各自的晶片上執行以 PyTorch 為基礎的 AI 應用。開發者無須重寫原有應用，就能轉用 Google TPU 或 Amazon Trainium。
Google 20 日發布 TorchTPU。TechCrunch 報導，開發者只需簡單調整設定，就能把現有 PyTorch 應用移至 TPU，無須重新編寫。Google 表示，已與 Meta、Hugging Face、vLLM 開發商 Inferact，以及 SGLang 開發商 RadixArk 合作，讓 TorchTPU 能與這些工具順利搭配。
TorchTPU 可搭配 vLLM、SGLang 和 Hugging Face 等工具使用。Google 也推出一套 TPU Agent 工具，協助開發者將應用移至 TPU 與雲端，並排除錯誤。
Amazon 19 日發布 TorchNeuron，讓開發者無須重寫 AI 應用，就能將其移至 Trainium 晶片與 AWS。Amazon 表示，正向 PyTorch 主專案提交程式碼，以拆解只能在 NVIDIA 晶片上使用的功能。
PyTorch 是用於建立、訓練及執行 AI 模型的開源工具。TechCrunch 指出，將現有 PyTorch 應用移至 TPU 或 Trainium 時，無須重寫應用。不過，僅憑這次發布，尚不能斷定開發者將大規模離開 NVIDIA GPU。
留言 0