Google inicia entrenamiento de nuevo modelo de lenguaje como anticipo a Google I/O

Google ha comenzado a entrenar un modelo de lenguaje de aprendizaje profundo (LLM) con 30 billones de parámetros, utilizando tecnología de vanguardia y leyes de escalado innovadoras. Se espera que el modelo esté listo antes de la conferencia Google I/O en mayo.

Tecnología y leyes de escalado de vanguardia

El modelo está siendo entrenado utilizando 8 unidades de procesamiento tensorial (TPU) v4 interconectadas con una técnica llamada «bungee cord». Además, el nuevo entrenamiento no sigue las leyes de escalado de chinchilla, sino que utiliza una nueva y mejorada ley de escalado denominada capybara.

Modelo multimodal y optimizador LION

El modelo en desarrollo será multimodal, lo que significa que podrá procesar y aprender de diversos formatos de datos, como video, audio, texto y estados robóticos. Además, Google utilizará un nuevo optimizador de aproximación de tercer orden llamado LION para mejorar la convergencia de estos modelos LLM masivos.

Inferencia en producción y el proyecto “australis”

La inferencia en producción de estos modelos LLM masivos se realizará utilizando JAX C++, cuyo nombre en clave interno es «australis». Hasta el momento, solo se han publicado partes muy pequeñas de «australis» en la organización GitHub jax-ml.

Impacto en la industria y preocupaciones éticas

La implementación de este nuevo modelo de lenguaje en diversas aplicaciones y tecnologías podría tener un impacto significativo en la industria. Sin embargo, también surgen preocupaciones sobre el uso ético y responsable de estos modelos de lenguaje avanzados. Será crucial que Google y otras empresas que desarrollan modelos similares aborden las implicaciones éticas y garanticen la transparencia en la forma en que se utilizan estas tecnologías.