Integración de IA

El Microservicio de Integración de IA ofrece una solución centralizada para conectar agentes de IA en el metaverso con proveedores como OpenAI y Azure AI.

Para crear un agente potenciado por IA en XR Creator Studio, deberás conectar un modelo de IA compatible (de OpenAI o Azure) configurando la clave API, el ID del asistente o el endpoint.

¿Qué es un Agente de IA?

Un Agente de IA es una entidad digital configurable impulsada por un modelo de lenguaje (como OpenAI o Azure AI) que puede interactuar con los usuarios en entornos inmersivos como el metaverso. Sus componentes principales incluyen:

• Modelo: El motor de IA subyacente (por ejemplo, GPT-4, GPT-3.5) que genera las respuestas.
• Memoria: Determina si el agente conserva el historial de conversación temporalmente (volátil) o entre sesiones (persistente).
• Instrucciones de interacción: Indicaciones del sistema que definen la personalidad, el rol y las restricciones del agente, como “Eres un asistente útil especializado en productos de la empresa”.

Ejemplos de Agentes de IA

XR Creator Studio admite tres tipos distintos de Agentes de IA, cada uno integrado mediante un método diferente y con capacidades únicas:

• Agente de Finalización de Azure AI
  Se conecta mediante un endpoint y una clave API. Ofrece opciones de voz, detección de proximidad y activadores de eventos.

• Agente de Finalización de OpenAI
  Utiliza la API de OpenAI y el nombre del modelo. Admite memoria volátil o persistente, síntesis de voz y eventos mediante scripts.

• Agente Asistente de OpenAI
  Construido con la API de Assistant de OpenAI. Permite subir archivos y utilizar herramientas, lo que facilita una comprensión contextual más profunda y memoria a largo plazo.

Uso de Finalización vs Asistente

La elección entre ellos depende de las necesidades de tu proyecto: si prefieres interacciones rápidas y ligeras o un asistente más robusto y consciente del contexto.

• Agentes basados en Finalización
  Se basan en interacciones de tipo pregunta-respuesta. Proporcionas una indicación del sistema y el modelo genera respuestas. Son ideales para agentes ligeros y reactivos con memoria opcional.

• Agentes basados en Asistente
  Utilizan la API de Assistant de OpenAI y admiten funciones avanzadas como búsqueda de archivos, memoria persistente e integración de herramientas. Son más adecuados para tareas complejas que requieren continuidad y contexto profundo.

Sistema de Eventos del Agente de IA

Cuando Emitir Eventos está habilitado, el Agente de IA puede activar varias interacciones:

Evento	Descripción
user-enter	Se activa cuando un usuario entra en la región de proximidad del agente. Solo se emite si ‘Emitir eventos’ y ‘Habilitar proximidad’ están activados.
user-leave	Se activa cuando un usuario sale de la región de proximidad del Agente de IA.
agent-talk-start	Se emite cuando el agente comienza a hablar. También se activa cuando inicia una secuencia de síntesis de voz.
agent-talk-talking	Se emite durante el habla del agente en cada frame, enviando la modulación de amplitud de la onda de sonido.
agent-talk-end	Se activa cuando el agente finaliza su discurso.
agent-thinking	Se activa cuando el agente está procesando una respuesta, mostrando los puntos suspensivos en el chat.

Estos eventos son especialmente útiles cuando se trabaja con nuestra API de Scripting.

aviso

Asegúrate de que Observable esté habilitado para que los eventos de scripting en el mundo se ejecuten correctamente.