Modelos de vanguardia entrenados con millones de horas de videos de conducción y robótica, para democratizar el desarrollo de la IA física, ahora disponibles bajo licencia abierta.
Introducción de los modelos Cosmos de NVIDIA
NVIDIA Cosmos, una plataforma diseñada para acelerar el desarrollo de IA física, ha lanzado una familia de modelos básicos para el mundo: redes neuronales que pueden predecir y generar videos con conciencia física sobre el futuro de un entorno virtual. Estos modelos ayudarán a los desarrolladores a crear robots de próxima generación y vehículos autónomos (AVs).
Los modelos fundamentales del mundo, o WFMs, son tan fundamentales como los grandes modelos de lenguaje. Usan datos de entrada, como texto, imágenes, video y movimiento, para generar y simular mundos virtuales de manera precisa, modelando las relaciones espaciales de los objetos en la escena y sus interacciones físicas.
Modelos disponibles bajo licencia abierta
Anunciado en CES, NVIDIA pone a disposición la primera ola de WFMs Cosmos para simulaciones basadas en física y generación de datos sintéticos. Además, ofrece tokenizadores de vanguardia, guías de seguridad, una acelerada línea de procesamiento y curación de datos, y un marco para la personalización y optimización de los modelos.
Cosmos recibió los premios Best AI y Best Overall de los Best of CES Awards del CNET Group, socio de premios de la Consumer Technology Association, que organiza el CES.
Investigadores y desarrolladores, independientemente del tamaño de su empresa, pueden usar los modelos Cosmos bajo la licencia abierta de NVIDIA, que permite el uso comercial. Las empresas que desarrollan agentes de IA también pueden utilizar los nuevos modelos NVIDIA Llama Nemotron y Cosmos Nemotron, presentados en CES.
La apertura de los modelos avanzados de Cosmos desbloquea el desarrollo de la IA física para aquellos que trabajan en robótica y tecnología AV, y permite que las empresas de todos los tamaños lleven más rápidamente sus aplicaciones de IA física al mercado.
Generación de datos sintéticos y simulaciones
Los modelos Cosmos de mundo fundacional permiten la generación de datos sintéticos para complementar conjuntos de datos de entrenamiento, la simulación para probar y depurar modelos de IA física antes de su implementación en el mundo real, y el aprendizaje por refuerzo en entornos virtuales para acelerar el aprendizaje de los agentes de IA.
Avances en robótica y vehículos autónomos
Los modelos Cosmos pueden generar grandes cantidades de datos sintéticos controlables basados en la física al ser acondicionados con escenas 3D compuestas desde NVIDIA Omniverse.
Empresas líderes en robótica, como 1X, Agility Robotics y XPENG, y desarrolladores de AV como Uber y Waabi, ya están trabajando con Cosmos para acelerar y mejorar el desarrollo de modelos.
En robótica, los WFMs pueden generar entornos virtuales sintéticos o mundos que brindan un espacio más económico, eficiente y controlado para el aprendizaje de los robots. Por ejemplo, la startup de IA embodied Hillbot está utilizando Cosmos para generar terabytes de entornos 3D de alta fidelidad, lo que les permitirá mejorar el entrenamiento y las operaciones de sus robots.
Personalización y despliegue con NVIDIA Cosmos
La plataforma Cosmos incluye una línea de procesamiento de datos y curación impulsada por NVIDIA NeMo Curator, optimizada para los GPUs de centro de datos de NVIDIA. Con esta plataforma, los desarrolladores pueden procesar millones de horas de datos de video del mundo real en tiempo récord, lo que facilita la creación de modelos personalizados.
Además, los desarrolladores pueden acceder a poderosos tokenizadores de video e imagen que pueden convertir videos en tokens para entrenar diversos modelos transformadores. Estos tokenizadores ofrecen una compresión 8 veces mayor y una velocidad de procesamiento 12 veces más rápida que los métodos actuales.
Modelos responsables y seguros
Cosmos está disponible bajo el Acuerdo de Licencia de Modelo Abierto de NVIDIA y se desarrolló según los principios de IA confiable de la empresa, que incluyen no discriminación, privacidad, seguridad y transparencia.
La plataforma incluye Cosmos Guardrails, una suite de modelos diseñada para mitigar entradas de texto e imagen dañinas y garantizar un uso seguro de los modelos, lo que permite a los desarrolladores personalizar aún más estas guías para sus aplicaciones.
Los modelos Cosmos también cuentan con un sistema de marca de agua incorporado para identificar secuencias generadas por IA.
Conclusión
NVIDIA Cosmos proporciona una plataforma poderosa para el desarrollo de IA física, con modelos abiertos y accesibles para la comunidad de desarrolladores, facilitando la creación de modelos personalizados y la simulación en robótica y vehículos autónomos.
