Describe Video
Describe Video analiza un vídeo con un modelo de IA capaz de ver imágenes. El componente toma varios fotogramas repartidos a lo largo del vídeo y los envía al modelo. Si conectas un transcriptor, también transcribe su pista de audio y el modelo responde teniendo en cuenta lo que se ve y lo que se dice. Con el campo Prompt Text decides qué quieres saber.
Si conectas varios vídeos, cada uno se analiza por separado y recibes una descripción por vídeo.
Cuándo usarlo
- Resumir grabaciones de formación o de reuniones para saber de qué tratan sin verlas enteras.
- Revisar los vídeos que envía un cliente para valorar un daño o una incidencia.
- Generar descripciones de los vídeos de producto de tu catálogo.
- Comprobar si un vídeo cumple tus requisitos antes de publicarlo.
Configuración
| Campo | Qué hace |
|---|---|
| Video Data (obligatorio) | El vídeo o los vídeos que quieres analizar. Conecta aquí el archivo que llega de otro componente, un registro con el contenido o la dirección del vídeo, o un mensaje con su dirección. |
| Model (obligatorio) | El modelo de IA que analiza el vídeo. Debe ser un modelo capaz de ver imágenes. |
| Audio Transcriber | Opcional. El transcriptor que pasa a texto el audio del vídeo. Sin él, solo se analizan los fotogramas. |
Opciones avanzadas
| Campo | Qué hace |
|---|---|
| Prompt Text | Lo que quieres que el modelo haga con el vídeo. Por defecto: “Describe the video.” (describe el vídeo). Puedes escribirlo en español. |
Al modelo le llegan como máximo ocho fotogramas por vídeo, repartidos a lo largo de toda la grabación, junto con la transcripción completa del audio cuando hay un transcriptor conectado.
Resultado
La salida Data devuelve un resultado por cada vídeo con:
- video_description: la respuesta del modelo.
- name: el nombre del archivo de vídeo.
- url: la dirección del vídeo, si la tenía.
- mimetype: el tipo de archivo.
Ejemplo
Una aseguradora recibe vídeos de los daños de una vivienda grabados por sus clientes.
- Conecta el vídeo recibido a Video Data.
- Conecta un modelo con visión en Model y, para tener en cuenta el audio, un transcriptor en Audio Transcriber.
- En Prompt Text escribe: “Indica qué daños se ven en la vivienda, en qué estancias y qué explica el cliente sobre cómo ocurrieron.”
- Envía la descripción al perito junto con el expediente.
Buenas prácticas
- Sé concreto en Prompt Text. Si necesitas una respuesta con un formato fijo (por ejemplo, una lista), pídelo explícitamente.
- Como el modelo solo ve unos pocos fotogramas, en vídeos largos los detalles breves pueden quedar fuera. Para lo importante, apóyate también en lo que se dice en el audio.
Componentes relacionados
- Describe Image: lo mismo para imágenes.
- OpenAI Whisper: transcribe archivos de audio.