Una embarcación nunca está realmente quieta. Se balancea, cabecea y se inclina con cada ola, y cualquier cámara atornillada a ella se mueve de la misma manera. Ese movimiento no se queda fuera del encuadre. Se convierte en parte de las imágenes.
Para un sistema de IA que intenta detectar una boya, un nadador u otra embarcación, una imagen movida es un problema incluso antes de que empiece el análisis. La detección, el seguimiento y la estimación de distancia dependen de comprender el movimiento propio de la cámara en relación con la escena.
La compensación de movimiento estima ese movimiento y lo tiene en cuenta durante el procesamiento, proporcionando una referencia más estable para los algoritmos posteriores. Es uno de los trabajos menos visibles, pero más importantes, que realiza una cámara de IA marina.
Por suerte, uno de sus efectos es fácil de ver. Los siguientes ejemplos comparan las imágenes originales con vídeo estabilizado digitalmente de cámaras tanto de color como térmicas.
Cámara de luz visible, antes y después de la estabilización
Cámara térmica, antes y después de la estabilización
Qué significa realmente «movimiento de la cámara» en una embarcación
Cuando una cámara está fija a una embarcación, la mayor parte de lo que se mueve en el vídeo no es el mundo cambiando. Es la propia embarcación moviéndose bajo la cámara. Los ingenieros llaman a esto movimiento propio de la cámara: el movimiento propio de la cámara en relación con su entorno.
El movimiento de una embarcación se descompone en seis movimientos distintos, conocidos en mecánica marina como seis grados de libertad:
- Balanceo: inclinación de lado a lado, alrededor de la longitud del casco
- Cabeceo: la proa subiendo y bajando
- Guiñada: giro a la izquierda o a la derecha
- Arfada: subida y bajada en vertical
- Avance: movimiento hacia adelante y hacia atrás
- Deriva: deslizamiento de lado a lado
Como la cámara está rígidamente unida a la embarcación, hereda los seis a la vez. La tarea principal de la compensación de movimiento es averiguar cómo se movió la cámara, utilizando sensores inerciales, datos visuales o ambos juntos. Luego se corrige la imagen para eliminar ese movimiento.
Separación entre movimiento de cámara y de objetos
Cuando vemos un vídeo, nuestro cerebro separa automáticamente el movimiento de la cámara del movimiento del mundo que nos rodea. En un entorno marítimo, entendemos que el horizonte es estable, que nuestra propia embarcación se mueve con las olas y que otra embarcación sigue su propia trayectoria.
Un sistema de visión por ordenador no tiene esta intuición. Solo observa cambios en los píxeles entre fotogramas que podría significar que el objeto se movió, que la cámara se movió o una combinación de ambos.
El efecto ya se puede ver con un ejemplo sencillo usando la estabilización digital que incorporan nuestros productos. Al reducir parte del movimiento de la cámara, la trayectoria aparente del objeto se vuelve más suave y fácil de seguir.
Sin embargo, esto solo es un primer paso. La estabilización digital puede reducir el movimiento visible, pero no resuelve por completo el reto de comprender la escena. El sistema de IA aún necesita estimar cómo se movió la propia cámara para separar el movimiento de la embarcación del movimiento de los objetos.
Por eso la compensación de movimiento es una parte tan importante de la percepción marina: antes de entender lo que está ocurriendo en la escena, el sistema primero necesita entender cómo se mueve su propio punto de vista.
El siguiente vídeo muestra este proceso dentro de nuestro sistema. Al compensar el desplazamiento de la cámara, se aísla el balanceo de la propia embarcación del desplazamiento de los objetos en la escena. Por tanto, la trayectoria azul representa una estimación mejorada del rumbo del velero a través del agua.
Al desvincular el movimiento de la cámara del de los objetos, el sistema de IA obtiene una representación más clara del entorno. Esto mejora la fiabilidad en la detección, el seguimiento y la estimación de distancias.
Cómo funciona la compensación de movimiento en el mar
Las cámaras lidian con el movimiento en drones, en coches y en cada cámara de teléfono. El mar abierto hace que el problema sea más difícil, porque el movimiento nunca se detiene y la escena no da al software casi nada a lo que aferrarse.
En tierra, el software puede rastrear puntos de referencia fijos como edificios o bordes de carretera para averiguar cómo se movió una cámara. El agua abierta proporciona muy pocos puntos de referencia estables. Se desplaza, refleja la luz y se ve similar en todas las direcciones.
Aquí es donde entra en juego una unidad de medición inercial, o IMU. En lugar de observar la escena, una IMU siente el movimiento propio de la embarcación directamente. En su interior, los acelerómetros miden la aceleración lineal a lo largo de cada eje, mientras que los giroscopios miden la velocidad angular. Juntos, permiten al sistema estimar la orientación y el movimiento de la plataforma.
Ningún sensor es fiable por sí solo. Los acelerómetros no pueden distinguir fácilmente el movimiento real de la atracción constante de la gravedad, y los giroscopios se desvían ligeramente con el tiempo a medida que se acumulan pequeños errores. Combinar los dos, una técnica llamada fusión de sensores, produce una estimación estable y continuamente corregida de cómo está orientada la plataforma. La IMU muestrea cientos de veces por segundo, mucho más rápido que la velocidad de fotogramas del vídeo, por lo que captura movimientos rápidos que de otro modo se perderían entre fotogramas.
Las cámaras térmicas aumentan aún más la dificultad. Una imagen térmica tiene mucha menos textura visual que una imagen en color normal, dejando al software aún menos características a las que aferrarse. Eso hace que la detección precisa del movimiento sea más importante, no menos.
Dos formas de compensar el movimiento
Los sistemas de IA marinos suelen combinar dos enfoques complementarios:
- Estabilización digital corrige la imagen por software, utilizando el movimiento medido, sin piezas móviles. Es ligera y fiable, muy adecuada para unidades compactas y de menor coste.
- Estabilización mecánica añade un soporte motorizado que contrarrota físicamente contra el movimiento de la embarcación, manteniendo la cámara nivelada antes incluso de que se capture un solo fotograma.
SEA.AI Sentry utiliza ambos. Sus cámaras estabilizadas y procesamiento a bordo mantienen el campo de visión estable. Un objeto detectado permanece cerca del centro del encuadre, incluso cuando la cubierta se mueve debajo de él.
Eliminar el movimiento en el soporte y en la imagen es lo que convierte una detección temblorosa en una fiable. Una detección fiable, a su vez, es lo que hace posible el seguimiento y la asistencia para evitar colisiones.
Dónde encaja en el panorama general
La compensación de movimiento está debajo de todo lo que un operador realmente ve: detección, seguimiento de múltiples objetos y la lista de contactos en una pantalla. Es invisible cuando funciona. Pero sin ella, una ola levantando la popa y una embarcación aproximándose desde la proa parecerían idénticas para un sistema de detección.
Con la compensación de movimiento en su lugar, el sistema refleja lo que está sucediendo en el agua, no lo que le está sucediendo a la embarcación. Esa distinción proporciona a la tripulación información sobre la que pueden actuar. La compensación de movimiento es una capa de la tecnología de SEA.AI, trabajando junto con la detección y el seguimiento para convertir imágenes estabilizadas en conciencia situacional fiable.
Preguntas más frecuentes
¿Qué es la compensación de movimiento?
La compensación de movimiento es el proceso de medir el movimiento propio de una plataforma de cámara (su balanceo, cabeceo y otro movimiento) y utilizar esa información para mejorar cómo se interpreta la escena, para que las imágenes reflejen lo que realmente está sucediendo en el agua en lugar del movimiento de la propia embarcación.
¿Por qué importa la compensación de movimiento para el seguimiento y la prevención de colisiones?
Un sistema de seguimiento sigue cada contacto de fotograma en fotograma, asumiendo que el movimiento en pantalla refleja el movimiento real en el agua. Cuando la propia cámara está cabeceando y balanceándose, esa suposición se rompe.
Una boya estacionaria puede parecer lanzarse a través del encuadre y confundirse con una embarcación en movimiento rápido. Eliminar el movimiento propio de la cámara restaura esa suposición, para que las trayectorias se mantengan continuas y los rumbos se mantengan precisos.
¿Cómo se mantiene estable SEA.AI Sentry en el mar?
Sentry combina un sensor inercial compacto, que mide el balanceo, el cabeceo y la guiñada en tiempo real, con estabilización tanto mecánica como digital.
La cámara se mantiene físicamente nivelada y el vídeo se corrige fotograma a fotograma, para que un objeto detectado permanezca cerca del centro del encuadre y se mantenga correctamente seguido mientras la embarcación se mueve.
