Mistral Large 4: modelo de 1 billón de parámetros, pesos más adelante

Mistral AI ha lanzado Mistral Large 4, un nuevo gran modelo multimodal. Según TechCrunch, dentro de la empresa lo llaman «Le Chonk» por sus 1 billón de parámetros. Un parámetro es un valor ajustable que el modelo aprende durante el entrenamiento; cuanto mayor es la cifra, más grande y costoso suele ser el modelo.

¿Está el modelo abierto a todo el mundo ahora mismo?

En parte. El modelo todavía no tiene pesos abiertos; por ahora solo puede usarse mediante un punto de acceso público protegido. Pierre Stock, vicepresidente de ciencia de Mistral, dijo que la empresa prevé publicar los pesos en unas tres semanas, cuando terminen las pruebas de seguridad. Pesos abiertos significa que los valores entrenados del modelo pueden descargarse y ejecutarse en su propia infraestructura, lo que facilita la auditoría.

¿Cómo se entrenó y cuál es el objetivo?

Según Stock, el modelo se entrenó por completo con la capacidad de cómputo propia de Mistral, con 4.000 GPU de Nvidia, una cifra que, según él, es muy inferior a la que usan los competidores. Aún no se han publicado resultados de referencia. La empresa espera que sea el mejor entre los modelos de pesos abiertos y cree que, gracias al entrenamiento focalizado, también podría superar a modelos cerrados en ámbitos concretos. Los usos destacados son la ciberseguridad, las finanzas y el diseño de chips.

El diseño de chips está ligado al trabajo de los dos principales inversores de la empresa: ASML lideró la Serie C y Samsung la Serie D el mes pasado, con una valoración de 21 000 millones de euros.

¿Qué significa para los equipos empresariales en Turquía?

Para bancos, organizaciones sanitarias y empresas de software que quieran ejecutar un modelo en sus propios servidores por razones de privacidad de datos, un gran modelo de pesos abiertos puede ser una opción valiosa. Sin embargo, aún no hay pruebas de referencia independientes, por lo que la afirmación de que es «mejor» debe leerse por ahora como un objetivo de la empresa.

• Espere a los resultados de referencia hasta que se publiquen los pesos; planifique una prueba pequeña con su propio conjunto de datos.
• Para los datos sujetos a la ley turca de protección de datos KVKK, empiece a calcular el coste y los requisitos de hardware de ejecutar el modelo en su propia infraestructura.
• Lea las condiciones de la licencia en cuanto al uso comercial cuando se publiquen los pesos.