画像マッチング操作¶

本章では、テンプレートマッチングを使用して要素を検索し、クリック操作を行う方法について説明します。FIRERPAは、テンプレートマッチングと特徴点マッチング（SIFT）をサポートしています。始める前に、画像マッチングに関する基本情報を理解する必要があります。画像マッチングは、テンプレートマッチングと特徴点マッチングに分かれます。テンプレートマッチングは、同じ解像度のデバイスに適しており、より効率的です。特徴点マッチングは、異なる解像度の画面に適していますが、一部の閾値は、デバイスの画面サイズに応じて微調整が必要になる場合があります。

マッチングインターフェース¶

画像マッチングインターフェースは少し複雑なインターフェースですが、ほとんどの場合、調整が必要なのは threshold と distance パラメータだけです。各パラメータの意味は、以下のパラメータ説明で確認できます。インターフェースの主な形式は以下の通りです。デフォルトでは、全画面でテンプレートマッチング方法を使用してマッチングが行われます。このインターフェースは、主にホストマシンの計算リソースを節約するために提供されています。パフォーマンスや認識結果に要件がある場合は、スクリーンショットインターフェースを使用して独自にマッチングを行うこともできます。

d.find_similar_image(data, threshold=0.0, distance=250, scale=1.0, area=FindImageArea.FIA_WHOLE_SCREEN, method=FindImageMethod.FIM_TEMPLATE)

マッチング方法¶

マッチング方法として、テンプレートマッチングと特徴点マッチングをサポートしています。テンプレートマッチングは、テクスチャが明確で、ターゲットの形状が固定されている場合に適していますが、回転、スケール変化、照明変化に対してはロバストではありません。特徴点マッチングは、コーナーやエッジなどの画像特徴点を検出し、その特徴を記述してから、2つの画像間でマッチングを行います。回転、スケール変化、照明変化などに対して強いロバスト性を持ち、複雑なシーンのマッチングタスクに適しています。

マッチング領域¶

マッチング領域は、主にモバイルデバイスのパフォーマンスをバランスさせるために使用されます。ほとんどの場合、マッチングが必要な項目は画面の固定領域にあります。その領域を指定することで、画像サイズを小さくし、マッチング時の計算量を削減できます。