Google Cloud ha anunciado el lanzamiento de Ironwood, su TPU de séptima generación, junto con nuevas instancias Axion el 6 de noviembre. Este nuevo modelo, Ironwood, está diseñado para entrenamiento a gran escala, aprendizaje por refuerzo complejo y servicios de alta capacidad con baja latencia. Se espera que se haga disponible de manera general en las próximas semanas.

Nuevas Instancias Axion

La instancia Axion N4A, una máquina virtual basada en ARM y optimizada para ofrecer una excelente relación entre costo y rendimiento, actualmente se encuentra en fase de vista previa. Además, la instancia C4A metal, que ofrece un entorno bare-metal también basado en ARM, estará disponible pronto en vista previa. El público objetivo de estas nuevas tecnologías incluye laboratorios de inteligencia artificial, plataformas SaaS y empresas que están trasladando su inversión desde el entrenamiento hacia la inferencia a gran escala.

Rendimiento sin igual

Ironwood ofrece un aumento significativo en el rendimiento, logrando una mejora del rendimiento pico de 10 veces en comparación con el TPU v5p y más de 4 veces en rendimiento por chip en comparación con el TPU v6e. Un solo pod puede conectar hasta 9,216 chips a través de un interconector Inter-Chip de 9.6 Tb/s y proporciona 1.77 PB de HBM compartido. La tecnología de Conmutación Óptica permite redirigir procesos en caso de fallos, y los pods tienen la capacidad de escalar en clusters de múltiples pods. Según Google, Ironwood ofrece 118 veces más FP8 ExaFLOPS a nivel de pod en comparación con el siguiente competidor, lo que indica una capacidad sustancial para servir modelos de inteligencia artificial avanzados.

Innovaciones en software

El co-diseño de software juega un papel crucial en esta evolución. MaxText introduce rutas SFT y GRPO, lo que permite a los equipos cambiar entre GPUs y TPUs con mínimas modificaciones en la configuración. El GKE Inference Gateway reduce el tiempo hasta el primer token en hasta un 96% y los costos de servicio en hasta un 30%. Los comentarios iniciales incluyen planes de Anthropic para acceder a hasta 1 millón de TPUs; Lightricks informó mejoras en la calidad de medios generativos; en cuanto a Axion, Vimeo experimentó un rendimiento de transcodificación aproximadamente un 30% mejor, ZoomInfo observó alrededor de un 60% de mejoras en la relación costo-rendimiento y Rise logró reducir su uso de computación en cerca de un 20%. La N4A ofrece hasta 64 vCPUs, 512 GB DDR5 y 50 Gbps; mientras que la C4A metal está diseñada para hipervisor, desarrollo nativo en ARM y grandes granjas de pruebas.

Un legado en diseño de silicio personalizado

La historia de Google en el desarrollo de silicio personalizado respalda este lanzamiento. Durante más de una década, se han desarrollado TPUs, VCUs para YouTube y cinco generaciones de procesadores Tensor, todos ellos con un co-diseño a nivel de sistema. El primer TPU fue presentado hace ocho años, antes de la llegada del modelo Transformer. Con almacenamiento de titanio, enfriamiento líquido avanzado a escala de gigavatio y aproximadamente un 99.999% de tiempo de funcionamiento desde 2020, las afirmaciones actuales sobre costo, escala y fiabilidad en toda la infraestructura de la AI Hypercomputer están bien fundamentadas.

Disponibilidad

Ironwood estará disponible de manera general en las próximas semanas; la Axion N4A está actualmente en vista previa y la C4A metal estará en vista previa pronto.

En IAsistentes encontrarás

Contáctanos hoy mismo.

Para más información sobre cómo estas herramientas pueden revolucionar tu forma de trabajar y potenciar tu productividad, ¡no dudes en contactarnos! En IASISTENTES, contamos con un equipo de especialistas listos para ayudarte a integrar la inteligencia artificial en tu día a día.

¡El momento es ahora! Adopta IA y transforma tu negocio.

WhatsApp: +34 624 71 99 01
Email: info@iasistentes.com