ki
Google öffnet TorchTPU für PyTorch-Modelle auf TPUs
Mit TorchTPU können Entwickler PyTorch-Modelle künftig auf Google-TPUs trainieren und ausführen. Der offene Stack ergänzt Unterstützung für Hugging Face, vLLM, SGLang und verteilte Trainingsszenarien.
- Bestehende PyTorch-Projekte lassen sich laut Google mit geringen Codeänderungen auf TPU-Hardware übertragen.
- Für Transformers 5, Diffusers, vLLM und SGLang wurden TPU-Backends beziehungsweise Schnittstellen ergänzt.
- Bei einem Qwen-3-8B-Test wurden bis zu 52 Prozent der Rechenleistung genutzt und 8192 Ironwood-TPUs eingesetzt; die Leistung ist nicht automatisch auf andere Modelle übertragbar.
TorchTPU wurde gemeinsam mit dem PyTorch-Team entwickelt und in zentrale KI-Werkzeuge sowie den Inferenz-Stack integriert. Dadurch erweitert sich die Auswahl an Beschleunigern für Entwickler, ohne dass der gesamte Software-Stack neu aufgebaut werden muss. Die offene Veröffentlichung senkt zwar die technische Hürde, garantiert aber keine vergleichbare Geschwindigkeit wie bei CPUs oder GPUs.