Bildabgleich-Operationen

Dieses Kapitel beschreibt, wie Sie Elemente mithilfe von Template-Matching finden und anklicken können. FIRERPA unterstützt sowohl Template-Matching als auch Merkmalspunktabgleich (SIFT). Bevor Sie beginnen, sollten Sie die Grundlagen des Bildabgleichs verstehen. Der Bildabgleich unterteilt sich in Template-Matching und Merkmalspunktabgleich. Template-Matching eignet sich für Geräte mit derselben Auflösung und ist effizienter. Der Merkmalspunktabgleich eignet sich für Bildschirme mit unterschiedlichen Auflösungen, jedoch müssen einige Schwellenwerte möglicherweise je nach Bildschirmgröße des Geräts feinjustiert werden.

Hinweis

Alle Abgleichprozesse werden auf dem FIRERPA-Server ausgeführt und beanspruchen keine lokalen Ressourcen. Aufgrund von Leistungseinschränkungen auf mobilen Geräten ist die Effizienz jedoch geringer. Bei hohen Leistungsanforderungen können Sie Screenshots lokal erstellen und den Abgleich selbst durchführen.

Abgleich-Schnittstelle

Die Schnittstelle für den Bildabgleich ist etwas komplex, aber in den meisten Fällen müssen Sie nur die Parameter threshold und distance anpassen. Die Bedeutung der einzelnen Parameter finden Sie in den folgenden Erläuterungen. Die Hauptform der Schnittstelle ist wie folgt. Standardmäßig wird ein Vollbildabgleich mit der Template-Matching-Methode durchgeführt. Diese Schnittstelle dient hauptsächlich dazu, die Rechenressourcen Ihres Host-Computers zu schonen. Wenn Sie hohe Anforderungen an die Leistung oder die Erkennungsergebnisse haben, können Sie auch die Screenshot-Schnittstelle verwenden, um den Abgleich selbst durchzuführen.

d.find_similar_image(data, threshold=0.0, distance=250, scale=1.0, area=FindImageArea.FIA_WHOLE_SCREEN, method=FindImageMethod.FIM_TEMPLATE)
FeldBeschreibung
dataBytedaten des abzugleichenden Bildes (Bildausschnitt)
thresholdSchwellenwert für die Verwerfung (Ähnlichkeit)
distanceMaximale Distanz zwischen Merkmalspunkten (nur bei Merkmalspunktabgleich)
scaleSkalierter Abgleich (verbessert die Leistung, nicht für Template-Matching anwendbar)
areaAbgleichbereich (die Einschränkung des Bereichs verbessert die Leistung)
methodAbgleichmethode

Abgleichmethoden

Die Abgleichmethoden unterstützen Template-Matching und Merkmalspunktabgleich. Template-Matching eignet sich für Situationen mit deutlichen Texturen und festen Zielformen, ist aber nicht robust gegenüber Rotationen, Skalierungsänderungen und Beleuchtungsänderungen. Der Merkmalspunktabgleich erkennt Bildmerkmale wie Ecken und Kanten, beschreibt diese und gleicht sie dann zwischen zwei Bildern ab. Er ist sehr robust gegenüber Rotationen, Skalierungsänderungen, Beleuchtungsänderungen usw. und eignet sich für komplexe Abgleichaufgaben.

AbgleichmethodeBeschreibung
FindImageMethod.FIM_TEMPLATETemplate-Matching
FindImageMethod.FIM_FEATUREMerkmalspunktabgleich

Abgleichbereiche

Der Abgleichbereich dient hauptsächlich dazu, die Leistung auf mobilen Geräten auszugleichen. In den meisten Fällen befindet sich das abzugleichende Element in einem festen Bereich des Bildschirms. Durch die Angabe dieses Bereichs können Sie die Bildgröße reduzieren und somit den Rechenaufwand beim Abgleich verringern.

AbgleichbereichBeschreibung
FindImageArea.FIA_WHOLE_SCREENGanzbildabgleich
FindImageArea.FIA_LEFTAbgleich der linken Bildschirmhälfte
FindImageArea.FIA_TOP_LEFTAbgleich der oberen linken Bildschirmecke
FindImageArea.FIA_TOPAbgleich der oberen Bildschirmhälfte
FindImageArea.FIA_TOP_RIGHTAbgleich der oberen rechten Bildschirmecke
FindImageArea.FIA_RIGHTAbgleich der rechten Bildschirmhälfte
FindImageArea.FIA_BOTTOM_RIGHTAbgleich der unteren rechten Bildschirmecke
FindImageArea.FIA_BOTTOMAbgleich der unteren Bildschirmhälfte
FindImageArea.FIA_BOTTOM_LEFTAbgleich der unteren linken Bildschirmecke