Detalles sobre las actualizaciones de IA de Google para la infraestructura de la nube • The Register

Aug 10, 2023

Cloud Next Google se centra nítidamente en la IA en Cloud Next de este año, con una gran cantidad de proyectos de hardware, que incluyen actualizaciones de TPU, opciones de GPU y un conjunto de herramientas de software para que todo funcione.

En la primera versión presencial del evento desde antes de la pandemia, celebrada en el enorme Moscone Center de San Francisco, Google dio a conocer detalles sobre su Cloud TPU v5e, el último de sus aceleradores de inteligencia artificial Tensor Processing Unit, además de instancias de máquinas virtuales impulsadas. por las GPU Nvidia H100.

Los TPU son el silicio personalizado de Google para acelerar el aprendizaje automático, y el servicio Cloud TPU se basa en el marco de aprendizaje automático TensorFlow de la empresa, además de otros marcos, incluidos Jax y PyTorch.

Su anterior chip de IA, TPU v4, se lanzó oficialmente en 2021, aunque el gigante de las búsquedas lo había estado probando durante varios años antes.

Con Cloud TPU v5e, Google afirma haber duplicado el rendimiento de entrenamiento por dólar y 2,5 veces el rendimiento de inferencia por dólar en modelos de lenguaje grandes (LLM) e IA generativa, en comparación con Cloud TPU v4.

El gigante de la nube utiliza motores TPUv4 para realizar inferencias para su propio motor de búsqueda y plataformas de publicación de anuncios.

Google ofrecerá ocho configuraciones diferentes de máquinas virtuales, desde un chip TPU hasta más de 250 en un solo segmento.

Por supuesto, no todo es cuestión de hardware. Se están centrando en una mayor escalabilidad para manejar grandes cargas de trabajo de IA en Cloud TPU v5e con una función llamada Multislice. Actualmente en versión preliminar, esto se ha desarrollado para permitir a los usuarios escalar modelos más allá de los límites de un único módulo de TPU para abarcar decenas de miles de chips de TPU, si es necesario. Anteriormente, los trabajos de capacitación se limitaban a una sola porción de chips de TPU.

También están destinadas a cargas de trabajo de IA exigentes como los LLM las instancias de máquinas virtuales A3 de Google que tienen ocho GPU Nvidia H100, procesadores escalables Intel Xeon duales de cuarta generación y 2 TB de memoria. Estas instancias se anunciaron por primera vez en Google IO en mayo, pero ahora estarán disponibles el próximo mes, dijo.

Con mejoras en el ancho de banda de la red debido a un adaptador de red de descarga y la Biblioteca de Comunicaciones Conectivas de Nvidia (NCCL), Google espera que las máquinas virtuales A3 brinden un impulso a los usuarios que buscan construir modelos de IA cada vez más sofisticados.

Google Next también proporcionó detalles sobre GKE Enterprise, descrito como una edición premium del servicio administrado Google Kubernetes Engine (GKE) de la compañía para cargas de trabajo en contenedores.

La edición GKE Enterprise, que estará disponible en versión preliminar a partir de principios de septiembre, cuenta con una nueva capacidad de múltiples clústeres que permite a los clientes agrupar cargas de trabajo similares como "flotas" y aplicar configuraciones personalizadas y políticas de protección en toda la flota, dijo Google.

Esta edición viene con características de seguridad administradas que incluyen información sobre vulnerabilidades de cargas de trabajo, controles de políticas y gobierno, además de una malla de servicios administrados. Con capacidades extraídas de la plataforma Anthos de Google, la compañía afirma que la edición GKE Enterprise puede abarcar escenarios híbridos y de múltiples nubes para permitir a los usuarios ejecutar cargas de trabajo de contenedores en otras nubes públicas y locales, así como en GKE.

Además, el propio GKE ahora admite instancias de máquina virtual Cloud TPU v5e y A3 con GPU H100 para cargas de trabajo de IA exigentes, dijo Google.

Continuando con el tema de la IA, Google está incorporando adiciones a su oferta Google Distributed Cloud (GDC), además de hardware actualizado para admitir la extensión local de su plataforma en la nube.

Las tres nuevas ofertas de datos e inteligencia artificial son las integraciones de Vertex AI, AlloyDB Omni y Dataproc Spark. Las integraciones de Vertex llevan Vertex Prediction y Vertex Pipelines a GDC Hosted, aunque solo estarán disponibles en versión preliminar a partir del segundo trimestre de 2024.

AlloyDB Omni es un nuevo motor de base de datos administrado que, según se afirma, ofrece el doble de velocidad que PostgreSQL para cargas de trabajo transaccionales y actualmente está disponible en versión preliminar.

Dataproc Spark es un servicio administrado para ejecutar cargas de trabajo de análisis bajo Apache Spark, que se afirma ofrece a los usuarios costos más bajos que implementar Spark ellos mismos. Estará disponible en versión preliminar a partir del cuarto trimestre.

Finalmente, Google dijo que está presentando una pila de hardware actualizada para GDC, con procesadores escalables Intel Xeon de cuarta generación y estructuras de red de mayor rendimiento con un rendimiento de hasta 400 Gbps.

Y además, los procesadores compatibles con AmpereOne Arm de Ampere estarán disponibles en algún momento como una vista previa privada en forma de una instancia informática C3A. ®

Envíanos noticias