Operaciones de Coincidencia de Imágenes

Este capítulo le presenta cómo utilizar el método de coincidencia de plantillas para realizar operaciones de búsqueda y clic de elementos. FIRERPA admite el uso de coincidencia de plantillas y coincidencia de puntos característicos (SIFT). Antes de comenzar, necesita comprender la información básica sobre la coincidencia de imágenes. La coincidencia de imágenes se divide en coincidencia de plantillas y coincidencia de puntos característicos. La coincidencia de plantillas es adecuada para dispositivos con la misma resolución y es más eficiente. La coincidencia de puntos característicos es adecuada para pantallas de diferentes resoluciones, pero algunos umbrales pueden necesitar un ajuste fino según el tamaño de la pantalla de los diferentes dispositivos.

Sugerencia

Todos los procesos de coincidencia se realizan en el servidor de FIRERPA, sin ocupar recursos locales. Sin embargo, debido a las limitaciones de rendimiento de los dispositivos móviles, la eficiencia es baja. Para requisitos de alto rendimiento, puede realizar capturas de pantalla y coincidencias en su máquina local.

Interfaz de Coincidencia

La interfaz de coincidencia de imágenes es una interfaz un poco compleja, pero en la mayoría de los casos, solo necesita ajustar los parámetros threshold y distance. También puede encontrar el significado de cada parámetro en la explicación de parámetros a continuación. La forma principal de la interfaz es la siguiente. Por defecto, realiza una coincidencia a pantalla completa utilizando el método de coincidencia de plantillas. Esta interfaz está diseñada principalmente para ahorrar recursos computacionales de su máquina anfitriona. Si tiene requisitos de rendimiento o de resultados de reconocimiento, también puede utilizar la interfaz de captura de pantalla para realizar la coincidencia por su cuenta.

d.find_similar_image(data, threshold=0.0, distance=250, scale=1.0, area=FindImageArea.FIA_WHOLE_SCREEN, method=FindImageMethod.FIM_TEMPLATE)
CampoDescripción
dataDatos de bytes de la imagen a coincidir (recorte)
thresholdUmbral de descarte (similitud)
distanceDistancia máxima entre puntos característicos (solo para coincidencia de características)
scaleCoincidencia con escalado (mejora el rendimiento, no aplicable a la coincidencia de plantillas)
areaÁrea de coincidencia (limitar el área mejora el rendimiento)
methodMétodo de coincidencia

Método de Coincidencia

El método de coincidencia admite tanto la coincidencia de plantillas como la de puntos característicos. La coincidencia de plantillas es adecuada para situaciones donde la textura es clara y la forma del objetivo es fija, pero no es robusta a la rotación, cambios de escala y variaciones de iluminación. La coincidencia de puntos característicos funciona detectando puntos característicos de la imagen, como esquinas y bordes, describiendo sus características y luego encontrando correspondencias entre dos imágenes. Es muy robusta a la rotación, cambios de escala, variaciones de iluminación, etc., y es adecuada para tareas de coincidencia en escenas complejas.

Método de CoincidenciaDescripción
FindImageMethod.FIM_TEMPLATECoincidencia de plantillas
FindImageMethod.FIM_FEATURECoincidencia de puntos característicos

Área de Coincidencia

El área de coincidencia se utiliza principalmente para equilibrar el rendimiento en dispositivos móviles. En la mayoría de los casos, el elemento a coincidir se encuentra en un área fija de la pantalla. Puede especificar su área para reducir el tamaño de la imagen y, por lo tanto, la carga computacional durante la coincidencia.

Área de CoincidenciaDescripción
FindImageArea.FIA_WHOLE_SCREENCoincidencia en pantalla completa
FindImageArea.FIA_LEFTCoincidencia en la mitad izquierda de la pantalla
FindImageArea.FIA_TOP_LEFTCoincidencia en la esquina superior izquierda de la pantalla
FindImageArea.FIA_TOPCoincidencia en la mitad superior de la pantalla
FindImageArea.FIA_TOP_RIGHTCoincidencia en la esquina superior derecha de la pantalla
FindImageArea.FIA_RIGHTCoincidencia en la mitad derecha de la pantalla
FindImageArea.FIA_BOTTOM_RIGHTCoincidencia en la esquina inferior derecha de la pantalla
FindImageArea.FIA_BOTTOMCoincidencia en la mitad inferior de la pantalla
FindImageArea.FIA_BOTTOM_LEFTCoincidencia en la esquina inferior izquierda de la pantalla