Objetivos rnrnVEGA pretende acercar la experiencia de asesoramiento en perfumería mediante un avatar virtual 3D que guía al usuario de forma natural. El sistema busca: rnrnOfrecer información y recomendaciones sobre perfumes por conversación de voz o texto rnrnHacer el asesoramiento accesible en tiempo real, 24/7, sin necesidad de personal físico rnrnMejorar la experiencia con interacción multimodal (voz, texto, avatar 3D y visualización de productos) rnrnrnrnFunciones principales rnrnComprensión del lenguaje natural: análisis de preguntas y peticiones del usuario en varios idiomas (español, inglés, francés, alemán, italiano, portugués y catalán) rnrnGeneración de respuestas contextuales: uso de GPT-4o-mini con RAG (file_search sobre vector store) para responder con conocimiento del catálogo de perfumes rnrnReconocimiento de voz: transcripción con Whisper para conversación por voz rnrnSíntesis de voz: generación de voz natural con Azure Neural TTS y sincronización labial mediante visemas rnrnTriaje conversacional: Gemini Flash Lite actúa como router para distinguir saludos, despedidas, preguntas o tareas, y decidir si responde directamente o pasa al LLM principal rnrnModo conversacional: el usuario pregunta libremente sobre perfumes y recibe respuestas generadas por IA con conocimiento especializado rnrnFlujo de recomendación guiada: pasos configurados (género, preferencias olfativas, ocasión, etc.) para orientar la elección rnrnAlgoritmo de coincidencia: búsqueda del perfume que mejor se ajusta a las características seleccionadas y sugerencia de perfumes relacionados rnrnCache de temas: respuestas preconfiguradas para preguntas frecuentes (p.ej. “¿Cómo te llamas?”) para reducir latencia y coste rnrnHistorial de conversación: registro de preguntas y respuestas para análisis y mejora del servicio rnrnrnrnMejoras implementadas rnrnArquitectura híbrida router + LLM: Gemini Flash Lite responde rápidamente a interacciones sencillas; GPT-4o-mini se usa solo cuando se necesita conocimiento profundo, reduciendo latencia y coste rnrnRespuestas progresivas: generación por oraciones con síntesis de voz incremental para dar feedback desde el primer fragmento rnrnReglas de seguridad: rechazo explícito de contenidos peligrosos o ilegales en el prompt del router rnrnrnrnContribuciones rnrnAccesibilidad: soporte de voz y subtítulos en tiempo real rnrnInclusión lingüística: soporte multidioma para distintos públicos rnrnExperiencia de compra: asesoramiento personalizado sin necesidad de dependiente físico rnrnEscalabilidad: el avatar puede atender múltiples usuarios simultáneamente rnrnGestión de expectativas: el router indica de forma natural que está procesando la petición, evitando promesas de “respuesta instantánea
Autoría
Imascono
Categoría
Cliente, comunicación y marketing
Localización
Zaragoza
Tecnologías clave
Machine learning, Procesamiento del lenguaje natural (NLP), Generative AI (texto, imagen, voz o código)
Infraestructura
Microsoft Azure
Nivel de madurez tecnológica (TRL)
TRL 9 — Sistema probado en entorno operativo real
Beneficiarios
Beneficiarios directos rnrnClientes y compradores de perfumes: personas que buscan asesoramiento o recomendaciones sin depender de horarios ni ubicación de tiendas. rnrnPersonas con movilidad reducida: quienes tienen dificultades para acceder a perfumerías físicas y pueden usar el avatar desde casa o desde un totem. rnrnUsuarios con barreras idiomáticas: turistas y residentes que no dominan el idioma local y se benefician del soporte multilingüe. rnrnPersonas que prefieren comprar sin presión: quienes buscan información y orientación a su ritmo, sin presión comercial directa. rnrnUsuarios de zonas sin tiendas especializadas: personas en áreas rurales o poblaciones pequeñas donde no hay perfumerías cercanas. rnrnrnrnBeneficiarios indirectos rnrnComercios de perfumería: tiendas, marcas y franquicias que pueden complementar o ampliar el asesoramiento sin aumentar plantilla. rnrnCentros comerciales y espacios de retail: que mejoran la experiencia en puntos de venta con el avatar como elemento diferenciador. rnrnEmpleados de tienda: al cubrir consultas repetitivas o informativas, pueden dedicar más tiempo a tareas con mayor valor.
Indicadores o KPI de impacto
Conocimiento de 125 referencias de fragancias.rnrnPresencia en 10.000 puntos de venta físicos.rnrn2 idiomas disponibles.
Capacidad tecnológica del proyecto
Computación rnrnEjecución en un cluster de Kubernetes (sobre Microsoft Azure). Uso de Worker Threads en Node.js para procesamiento asíncrono de conversaciones. Escalado horizontal de contenedores (frontend, backend, trainer). rnrnFrameworks rnrnBackend: ExpressJS + NodeJS. Frontend: ReactJS + Typescript. Motor 3D: Babylon.js. Comunicación en tiempo real: Socket.io. rnrnModelos de IA rnrnLLM: GPT-4o-mini (OpenAI) para generación de respuestas, function calling y RAG. rnrnModelos especializados: Gemini 2.5 Flash Lite (Google) como router rnrnSTT: Whisper-1 (OpenAI) para transcripción de voz. rnrnTTS: Azure Neural TTS para síntesis de voz con visemas. rnrnDatos rnrnRAG con OpenAI file_search y vector store. Cache de temas frecuentes. Historial de conversaciones en Redis y OpenSearch. Datos de perfumes (notas, formatos, características) en JSON y en vector store. rnrnInterfaz rnrnAvatar 3D en Babylon.js con modelos GLB/GLTF, animaciones faciales y corporales y sincronización labial con visemas. Soporte móvil, desktop y totem. Subtítulos en tiempo real. Entrada por voz y texto. Soporte multilingüe (es, en, fr, de, it, pt, ca). rnrnIntegraciones rnrnOpenAI API (GPT, Whisper), Google GenAI (Gemini), Azure Speech Services, OpenSearch (analíticas), Redis (sesiones y cache), CMS/Trainer externo (personalidad y diseño), Fluentd para logs.
Sostenibilidad, huella ambiental y licencia social
El proyecto incorpora criterios de sostenibilidad y eficiencia desde su diseño, priorizando el uso responsable de recursos tecnológicos y la optimización de los procesos de IA para reducir el consumo energético. Los modelos y sistemas se han dimensionado de forma eficiente, evitando entrenamientos innecesarios y favoreciendo arquitecturas que maximizan el rendimiento con un menor impacto ambiental.rnrnAsimismo, se promueve una utilización consciente de la IA, alineada con objetivos de impacto positivo, contribuyendo indirectamente a la reducción de costes, consumo de recursos y toma de decisiones más eficientes en los ámbitos en los que se aplica. El proyecto contempla la revisión periódica de su huella tecnológica para identificar oportunidades de mejora en sostenibilidad.rnrnDesde una perspectiva social, se trabaja activamente para minimizar posibles sesgos algorítmicos, garantizando un uso responsable y justo de la tecnología, lo que refuerza la confianza, la aceptación social y la licencia social del proyecto a largo plazo.