El chatbot de Mistral no solo es tan bueno como ChatGPT o Claude. Es mucho más rápido: escribe a 1.000 palabras por segundo
Mistral compite ante gigantes, pero no se rinde. Ayer lanzó una nueva versión de su chatbot, le Chat, además de ofrecerlo en iOS y Android y de lanzar una versión de pago con opciones de IA avanzadas. Su plataforma, disponible en chat.mistral.ai, gana enteros y se vuelve más versátil, pero además tiene una ventaja frente a sus competidores: la velocidad.
Un chatbot a 1.000 palabras por segundo. Los responsables de Mistral no presumen de ofrecer respuestas más precisas o mejores que sus competidores, pero sí tienen clara una cosa: «le Chat razona, reacciona y responde más rápido que cualquier otro asistente de chat, a aproximadamente 1.000 palabras por segundo».
Flash Answers. Es el nombre de esta característica de le Chat, que según sus creadores está potenciado por los modelos de más alto rendimiento y más baja latencia de Mistral, además de «los motores de inferencia más rápidos del planeta». La característica Flash Answers acaba de debutar en versión preliminar para todos los usuarios, y los usuarios pueden desactivarla si lo desean.
Primera prueba. Para demostrar la velocidad de las respuestas de le Chat quisimos hacer una comparativa con ChatGPT y Claude, dos de los chatbots más reputados en estos momentos. En primer lugar quisimos preguntar «Qué es Xataka» para ver qué respondían estos motores. La respuesta de Claude es la más extensa, pero también llena de errores. Le Chat contesta desde luego muy rápido y es más escueta pero también comete un error (Weblogs SL fue adquirida por Webedia hace años). ChatGPT es la más precisa en la descripción.
Segunda prueba. Pero si lo que queremos es ver cómo de rápido generan texto estos chatbots, lo mejor es pedirle explícitamente que escriban bastante. Aquí les pedimos a los tres que nos escribieran 10 párrafos sobre la situación de los aranceles en EEUU. Le Chat demostró ser de lejos el más rápido a la hora de generar el texto, y además su respuesta estaba muy bien estructurada, era actual e incluía citas. La respuesta de Claude aunque relevante se centraba más en anteriores medidas del gobierno de Joe Biden y no incluía citas. ChatGPT, aunque tardaba más, también ofrecía una respuesta muy correcta y con referencias.
Tercera prueba. Por último quisimos poner a prueba la calidad de la traducción de español a inglés para ver si eso afectaba a la velocidad. Pasamos un enlace a uno de nuestros últimos artículos sobre Google y pedimos a los tres chatbots que lo tradujesen. Aquí Claude se disculpó de primeras indicando que no podía acceder a internet pero podíamos copiar el texto. Le Chat fue el más rápido de nuevo, aunque sí se notó que en la traducción esa velocidad era algo más baja. Tanto este modelo como ChatGPT realizaron una traducción bastante decente, aunque demasiado fiel al texto. Es cierto que siempre se les puede pedir a estos modelos que hagan una traducción más libre, pero la calidad de la misma en cualquier caso es destacable.
Le Chat gana de lejos en rapidez (y no es nada malo en precisión). El modelo de Mistral ha demostrado en estas pruebas ser competitivo en la precisión y calidad de las respuestas, algo que desde luego es prometedor para las aspiraciones de la startup francesa. Lo mejor de todo es que efectivamente demuestra ser mucho más rapido en la inferencia y generación de texto (no se aplica en otros apartados como la generación de imágenes), algo que sin duda sus rivales se esforzarán por igualar en el futuro.
Imagen: Cerebras.
¿Por qué es tan rápido le Chat? La respuesta es sencilla: para generar esas respuestas tan rápidas Mistral se ha aliado con la empresa Cerebras, que se autocalifica como «el proveedor de inferencia de IA más rápido del mundo». Están aplicando sus chips y tecnología al modelo Mistral Large 2 123B que es en el que está basado le Chat, y gracias a eso logran hasta 1.100 tokens por segundo en peticiones de texto.
También busca en la web. Las respuestas de le Chat están además respaldadas por consultas a medios o agencias de información reputadas como AFP —con quien Mistral tiene un acuerdo de colaboración— pero además por la capacidad de buscar en la web con velocidad para recolectar información con la que construir sus respuestas. En dichas respuestas se citan a menudo (aunque no siempre) las fuentes de las que se saca la información.
Y hasta genera imágenes. En el nuevo le Chat llegan opciones como una opción avanzada de carga de documentos para procesarlos con OCR, un Canvas para usar le Chat de forma conversacional/colaborativa y hasta un intérprete de código que permite ejecutar código en un sandbox. Pero además es posible usarlo para generar imágenes gracias al modelo de IA generativa Flux Ultra de Black Forest Labs, uno de los más de moda últimamente. Este tipo de opciones se pueden disfrutar en la versión gratuita, pero si queremos usarlas con más consultas diarias, podemos pagar la suscripción de 14,99 euros al mes de la versión Pro de le Chat (los estudiantes solo pagan 4,99 euros al mes).
