Context.ai quiere fusionar la sensibilidad del análisis de productos con los LLM

Desde el lanzamiento de ChatGPT a finales del año pasado, hemos visto empresas desarrollando herramientas de IA generativa para ayudar a los clientes a interactuar con sus productos y servicios de una manera más natural. Sin embargo, en muchos casos, estos proveedores no tienen idea de qué tan bien están funcionando los grandes modelos de lenguaje subyacentes o qué tan buenas son las respuestas.

Context.ai se lanzó a principios de este año para ayudar a las empresas a comprender mejor cómo interactúan los usuarios con sus LLM. Hoy, la compañía anunció una inversión inicial de $3,5 millones para desarrollar completamente la idea.

El director ejecutivo Henry Scott-Green y su cofundador, el director de tecnología Alex Gamble, pasaron varios años trabajando en Google: Scott-Green en productos y Gamble como ingeniero de software. Juntos, reconocieron la necesidad de un servicio que mida qué tan bien se están comportando estos modelos, y había muy pocas herramientas disponibles para ayudar.

“Hemos hablado con cientos de desarrolladores que están creando LLM y tienen una serie de problemas realmente consistentes. Esos problemas son que no entienden cómo la gente usa su modelo y no entienden cómo se está desempeñando su modelo. La frase que siempre escucho es que 'mi modelo es una caja negra'”, dijo Scott-Green a TechCrunch.

En muchos sentidos, no se diferencia de las herramientas de análisis de productos como Amplitude o Mixpanel, que miden cómo interactúan los usuarios con la interfaz de un producto, como dónde hacen clic o cuánto tiempo permanecen en una página. Sin embargo, en el caso de Context, se trata de profundizar en los datos generados por el LLM y descubrir si está produciendo contenido realmente útil que ayude a los usuarios a responder las preguntas de los clientes. El objetivo final es construir un modelo más eficaz.

La forma en que funciona es que los clientes comparten transcripciones de chat con Context a través de una API. Luego analiza la información mediante el procesamiento del lenguaje natural (PLN). El software agrupa y etiqueta las conversaciones según el tema y luego analiza cada conversación para determinar, a partir de las señales disponibles, si el cliente quedó satisfecho con la respuesta.

Después de analizar el texto de las transcripciones del chat, Context.ai ofrece un análisis como este.Créditos de imagen:Contexto.ai

“Creemos que se está produciendo un gran cambio [con el aumento de los LLM] y que se creará una gran cantidad de estas experiencias de chat en los próximos años. Y en ese nuevo mundo, donde hay una enorme cantidad de interfaces textuales con las que los usuarios interactúan a través de texto, en lugar de interfaces gráficas de usuario, se necesita un conjunto diferente de herramientas”, dijo.

Comenzaron construyendo un prototipo inicial y lo compartieron con los primeros clientes y socios de diseño, y desde entonces han estado iterando para mejorar y refinar el producto. Scott-Green indica que es un proceso continuo, pero han generado mucho interés y tienen clientes que pagan.

Vale la pena señalar para aquellos preocupados por la seguridad y la privacidad que Context elimina la PII en el momento de la ingesta. No utiliza el contenido para la creación de modelos ni con fines de marketing, y lo conserva durante no más de 180 días, después de los cuales se elimina, según Scott-Green.

La empresa es pequeña en este momento, con seis empleados, pero ve un futuro con una organización en crecimiento y cree que nunca es demasiado pronto para pensar en construir una empresa diversa.

“Obviamente es un desafío que tiene el ecosistema de startups y el ecosistema tecnológico en general cuando se trata de construir equipos representativos, diversos e inclusivos. Es algo en lo que ambos creemos firmemente y creo que, lo que es más importante, es algo en lo que ambos también estamos actuando y realmente haciendo esfuerzos para garantizar que tengamos una diversidad representativa inclusiva [en nuestra base de empleados]”, dijo.

La inversión de hoy estuvo codirigida por GV (la división de riesgo de Google) y Theory Ventures.