En un movimiento que promete simplificar el uso de unidades de procesamiento tensorial (TPU) en el ámbito de la inteligencia artificial, Google ha presentado TorchTPU, su nueva pila de software abierta que permite ejecutar PyTorch de forma nativa en sus TPU. El anuncio, realizado el 20 de octubre de 2026 en la Conferencia PyTorch, ha sido respaldado tanto por Google como por el equipo de PyTorch de Meta. Este avance representa un paso significativo, ya que las TPU de Google se integrarán como una opción de hardware natural dentro de PyTorch, similar a lo que ya sucede con las GPU y las CPU.
TorchTPU ha sido liberado bajo la Licencia Apache 2.0 y está disponible para los desarrolladores en GitHub. La capacidad de ejecutar PyTorch en TPU con cambios mínimos de código, tanto en modo eager como con torch.compile, es una de las características destacadas de esta herramienta. Proyectos reconocidos como vLLM, SGLang, Hugging Face, Ray y llm-d ya han adoptado esta nueva tecnología, y Google ha mencionado una capacidad de escalado casi lineal hasta 8.192 TPU Ironwood, superando las expectativas de rendimiento previas.
El anuncio, respaldado por Mark Lohmeyer y Bill Jia, altos ejecutivos de Google Cloud, aborda un desafío persistente en el campo de la inteligencia artificial: la capacidad de trasladar cargas de trabajo de un acelerador a otro sin necesidad de reescribir el código. Hasta ahora, los desarrolladores que deseaban utilizar PyTorch en TPU recurrían a PyTorch/XLA, una solución que exigía el uso de código SPMD puro. TorchTPU, en cambio, ofrece una integración más fluida dentro de PyTorch a través de su interfaz PrivateUse1, convirtiendo los tensores en TPU en elementos nativos de PyTorch.
Una de las mejoras clave de TorchTPU radica en su flujo de trabajo optimizado, que permite la depuración en modo eager y el paso a producción mediante torch.compile. En este proceso, se captura el grafo con TorchDynamo y se compila utilizando XLA. Asimismo, TorchTPU ofrece un modo eager con fusión automática de operaciones, logrando mejoras de rendimiento que oscilan entre el 50% y el 100% respecto al modo estándar.
En términos de rendimiento, Google ha comunicado que su implementación de referencia, TorchTitan, ha logrado un 52% de utilización de FLOPs del modelo entrenando Qwen 3 8B, alcanzando un escalado casi lineal y estable hasta las 8.192 TPU Ironwood. Esta generación de TPU ya fue presentada por Google para tareas de inferencia a gran escala, y modelos como Llama 3, Qwen 3 y FLUX.1 han sido integrados con éxito en sus recetas.
Los avances en inferencia también han sido significativos, con el desarrollo de backends nativos para vLLM e Inferact, además de SGLang y RadixArk. El proyecto llm-d 1.0, en colaboración con entidades como Red Hat e IBM, ofrece mejoras en enrutado y fases de prefill y decode, permitiendo servir modelos en GPU y TPU desde un punto unificado en GKE.
La implementación de TorchTPU en el mercado de aceleradores señala un desafío directo a la hegemonía de NVIDIA y su entorno CUDA, hasta ahora líder en este ámbito gracias a su enfoque optimizado para PyTorch en GPU. Sin embargo, TorchTPU todavía tiene elementos pendientes de ajuste, tales como la reducción de recompilaciones y el soporte completo para formas dinámicas.
Por el momento, TorchTPU es exclusivo para las TPU de Google, lo que limita su portabilidad a Google Cloud, aunque ofrece a los desarrolladores una capacidad mejorada para trabajar entre GPU y TPU dentro de PyTorch. Con este lanzamiento, Google apuesta por transformar el panorama de la inteligencia artificial, aumentando sus opciones de hardware y fomentando una mayor flexibilidad y eficiencia en el procesamiento de grandes volúmenes de datos.
