基礎知識¶
本章では、Android自動化に関連する基礎知識を紹介します。必ず本章の内容をお読みください。後ほど繰り返し説明しません。Android自動化は通常のWeb自動化と大きく異なりますが、多くの共通点もあります。通常のWeb自動化では、F12開発者ツールでWebページのレイアウトや要素IDなどの情報を簡単に確認でき、XPathを使用して要素を取得し、クリックや待機などの操作を行うことができます。Android環境でもロジックは似ています。Selectorと呼ばれるものを使用して要素を選択し、クリックや判定などの操作を行うことができます。したがって、入門が難しいと心配する必要はありません。
モバイルとWeb自動化の共通点と相違点¶
モバイル端末の自動化とWeb自動化には多くの共通点がありますが、もちろん多くの相違点もあります。例としてSeleniumを挙げます。通常、Seleniumを使用してWebを制御するには3つの要素が必要です。①ブラウザ、②WebDriver、③Seleniumです。モバイル端末も同様です。スマートフォンはブラウザに相当し、FIRERPAはWebDriverに相当し、FIRERPAのPythonクライアントライブラリlamdaはSeleniumに相当します。それらの目的は一致しており、ユーザー操作をシミュレートしてテスト、データ収集、またはタスクの自動実行を実現することです。いずれもスクリプトによって駆動され、要素の特定、クリック、スクリーンショット、判定などの操作を行います。このように見ると、両者はかなり似ています。
しかし、相違点もあります。まず、モバイル端末の自動化にはスマートフォンとコンピュータが必要ですが、Web自動化は自分のコンピュータ上で実行できます。次に、使用するソリューションが異なります。Web端末の一般的なツールとしてはSelenium、Puppeteer、Playwrightなどがあります。モバイル端末では通常FIRERPA、AutoJS、Appium、uiautomator2などが使用されます。
Web端末では、一般的な要素特定方法は主にHTML DOM構造に基づくXPathまたはCSSセレクタであり、要素の階層が比較的直感的です。モバイル端末では、一般的な特定方法はSelectorです。もちろん、AndroidアプリのインターフェースもXMLレイアウトを使用しているため、XMLを通じてXPathで選択することもできます。通常、Web端末の自動化では互換性の問題をあまり考慮する必要はありません。ほとんどの場合、ブラウザのバージョンと起動解像度を固定することで、デバイス差異による互換性問題を解決できます。しかし、Android端末では、ブランド、モデル、画面サイズ、システムバージョンなどが異なるため、自動化コードの互換性に影響を与える可能性があります。ただし、心配は不要です。影響はありますが、程度は限られています。
自動化の基本フロー¶
通常、事前に方案を検討する必要があります。通常の自動化のみを行うのか、自動化と同時にアプリの実行データを取得するのかです。データ取得には通常2つの方法があります。①中間者によるHTTP/S通信の傍受、②フックによるデータ傍受です。中間者方式は比較的簡単で、一般的な用途に適していますが、一部のアプリでは効果がない場合があります。フック方式は高度なリバースエンジニアリング知識が必要で、入門が難しく、初心者には不向きで、特殊なシナリオ向けです。
中間者データ取得¶
中間者方式は比較的簡単です。ドキュメントで中間者証明書のインストールとプロキシの設定の関連内容を確認し、mitmproxyと組み合わせることで実現できます。不明な場合は、公式のstartmitm.pyスクリプトを参照してください。すべてのロジックが既に記述されており、直接コピーまたは再利用できます。
フックデータ取得¶
フック方式には初級以上のリバースエンジニアリング能力が必要です。これまでに学んだことがない場合は、しばらく考慮しなくて構いません。要するに、フック方式とは、Fridaスクリプトを作成して関連する関数呼び出しをフックし、引数や戻り値を取得して送信し、その後アプリに注入するなどのプロセスです。Fridaでデータ報告の章で、簡単なデモと使用方法を確認できます。
自動化コード¶
自動化コードも不可欠です。関連するロジックをトリガーするために自動化が必要だからです。自動化コードを作成する際は通常以下のフローに従います。まず、FIRERPAのリモートデスクトップを開くと、次のような画面が表示されます。

次に、自動操作したいアプリを開き、リモートデスクトップの右上隅にある「目のアイコン」をクリックすると、次のような画面が表示されます。このとき、操作したい要素を選択し、クリックすると要素情報を確認できます。
豆知識
もちろんコードで開くこともできます。これらはすべて後で説明します。

右側に要素情報(text、resourceIdなど)が表示されます。例えば、この要素をクリックしたい場合、次のコードを記述できます。意味は「textが「同意」の要素をクリックする」です。
d(text="同意").click()
注釈
これは単なる例です。Selectorの書き方は多数あります。ここでは最も簡単な方法のみを紹介します。
さて、最も簡単な書き方を理解しました。次に、if/elseなどの制御ロジックとexistsなどのインターフェースを組み合わせて記述すれば、一連の自動化操作フローを実現できます。ご覧のとおり、それほど難しくありません。
画面レイアウト検査¶
通常、自動化コードの作成には画面レイアウト検査が欠かせません。これはSelector条件を取得する唯一の手段です。まず、ブラウザでデバイスのリモートデスクトップを開きます。次に、リモートデスクトップ右上隅の目のアイコンをクリックしてレイアウト検査に入ります。左側の画面にある点線枠をクリックすると対応する要素情報を確認でき、その属性をSelectorのパラメータとして使用します。目のアイコンを再度クリックするとレイアウト検査が終了します。なお、レイアウト検査はページの変化に応じて自動更新されず、検査に入った瞬間の画面レイアウトのまま固定されます。更新するには手動でショートカットキーCtrl + Rを押してください。

ヒント
レイアウト検査画面でTabキーを押してすべての要素を順に確認することもできます。
画面Selector¶
画面Selector(Selector)はAndroid要素を操作するために使用されます。XPathルールのように理解できます。メカニズムは異なりますが、用途は似ています。FIRERPAでは、SelectorクラスはSelectorであり、ほとんどの場合直接触れる必要はありません。上記で既にその使い方を見ました。完全なSelectorには以下のオプションのパラメータが含まれます。
| マッチタイプ | 説明 |
|---|---|
| text | テキスト完全一致 |
| textContains | テキスト部分一致 |
| textStartsWith | テキスト前方一致 |
| className | クラス名一致 |
| description | 説明完全一致 |
| descriptionContains | 説明部分一致 |
| descriptionStartsWith | 説明前方一致 |
| clickable | クリック可能 |
| longClickable | 長押し可能 |
| scrollable | スクロール可能 |
| resourceId | リソースID一致 |
ほとんどの場合、resourceId、text、description、textContainsなどのみをパラメータとして使用します。要素に正常なresourceIdが存在する場合は、それを優先してSelectorとして使用すべきです。例えばd(resourceId="com.xxx:id/mobile_signal")のように。それ以外の場合はtextを使用します。例えばd(text="点击进入")、またはより曖昧にd(textContains="点击")のように。descriptionはtextと同様ですが、使用機会は少なめです。
ヒント
Selectorは、上記の画面レイアウト検査機能で取得した関連する主要パラメータを組み合わせて作成されます。
画面座標の定義¶
自動化操作の過程では、正確な座標や領域座標を使用して操作する必要がある場合に遭遇することがあります。座標の概念にまだ慣れていないかもしれませんが、ここでAndroid画面の座標知識を紹介します。画面は画像と同様に解像度があります。Android画面では、横向き、縦向き、自動回転にかかわらず、左上隅を原点(0,0)とし、右方向をX軸の正方向、下方向をY軸の正方向とする座標系を形成します。図に示すとおりです。

上の図から、画面の左上隅の座標は(0,0)、右上隅は(1080,0)、左下隅は(0,1920)、右下隅は(1080,1920)です。この情報に基づいて画面上の任意の点の座標を換算できます。
注釈
画面のネイティブが縦向きでも横向きでも、あるいは自動回転でも、常に現在の向きの左上隅を原点とします。
画面上の点¶
FIRERPAでは、クリックやスクリーンショットなどの一部の操作で領域や座標情報を指定する必要があります。一般的な座標点については、以下の定義を使用します。これは画面上の座標(100,100)の点を表します。
Point(x=100, y=100)
領域の定義¶
領域とは画面上の矩形領域を指します。その定義はやや煩雑ですので、注意深くお読みください。Boundを使用して画面上の領域を表します。4つのパラメータtop、left、bottom、rightを指定する必要があります。困惑するかもしれませんが、以下を必ず正確に理解してください。topは矩形の上端から画面上端までのピクセル距離、leftは矩形の左端から画面左端までのピクセル距離、rightは矩形の右端から画面左端までの距離、bottomは矩形の下端から画面上端までの距離を表します。つまり、すべての距離は画面左上隅の原点を基準としたX/Y軸方向の距離です。下図で理解を助けます。スマートフォンの画面は1080x1920、現在は縦向き状態です。

ここで、画面を4等分したと仮定し、図に示される左上と右下の2つの領域の定義を取得する必要があります。ルールに従うと、領域1:矩形の上端から画面上端までの距離は0ピクセル、左端から画面左端までの距離は0ピクセル、下端から画面上端までの距離は960ピクセル(1920÷2)、右端から画面左端までの距離は540ピクセル(1080÷2)です。したがって、その定義は次のようになります。
Bound(top=0, left=0, right=540, bottom=960)
同様に、領域2:矩形の上端から画面上端までの距離は960ピクセル、左端から画面左端までの距離は540ピクセル、右端から画面左端までの距離は1080ピクセル、下端から画面上端までの距離は1920ピクセルです。その定義は次のようになります。
Bound(top=960, left=540, right=1080, bottom=1920)
Androidアプリのデータ¶
各Androidアプリはデバイス上に専用のデータディレクトリを持っています。通常、アプリデータは/dataディレクトリに保存されます。d.application("com.example").info()インターフェースを呼び出すことで、アプリのデータディレクトリを取得できます。多くの場合、cdで/data/user/0/com.example.testに移動してユーザーディレクトリに入ることもできます。/data以外にも、一部のアプリは/sdcard/Androidディレクトリにマルチメディアなどの他のファイルを保存します。
SMSデータベースの確認¶
端末が受信したSMSの保存場所を確認したい場合があります。これは非常に簡単で、extension(拡張機能)を作成すれば直接内容を読み取り、HTTPインターフェース経由でリアルタイムに取得することもできます!ここでは通常のAndroidの考え方で紹介します。状況が異なる場合はご自身で応用してください。Androidでは、SMSアプリのパッケージ名は通常com.android.mmsです。したがって、/data/user/0/com.android.mmsディレクトリに切り替えることができます。以下の操作により、databasesディレクトリにいくつかのデータベースがあることが確認でき、その中のmmssms.dbが目的のものです。
λ 10:12 /data/user/0/com.android.mms ➥ ls -la
total 82
drwx------ 7 u0_a78 u0_a78 3452 Jan 2 2021 .
drwxrwx--x 381 system system 53248 May 2 16:46 ..
drwxrws--x 3 u0_a78 u0_a78_c 3452 Jan 2 2021 cache
drwxrws--x 2 u0_a78 u0_a78_c 3452 Jan 2 2021 code_cache
drwxrwx--x 2 u0_a78 u0_a78 3452 Jan 2 2021 databases
drwxrwx--x 7 u0_a78 u0_a78 24576 Feb 26 13:43 files
drwxrwx--x 2 u0_a78 u0_a78 3452 May 4 10:12 shared_prefs
λ 10:12 /data/user/0/com.android.mms ➥ ls -l databases/
total 504
-rw-rw---- 1 u0_a78 u0_a78 24576 Jan 2 2021 dynamic_bubble
-rw------- 1 u0_a78 u0_a78 0 Jan 2 2021 dynamic_bubble-journal
-rw-rw---- 1 u0_a78 u0_a78 491520 Feb 27 04:18 mmssms.db
-rw------- 1 u0_a78 u0_a78 0 Jan 2 2021 mmssms.db-journal
λ 10:12 /data/user/0/com.android.mms ➥
読み取りは非常に簡単です。Android上の一般的なアプリのデータベースはすべてSQLiteだからです。ただし、セキュリティの高いアプリではデータベースが暗号化されていることがよくあります。しかし、FIRERPAは強力で、通常のSQLiteに加えて、リアルタイム読み取りでWeChat(SqlCipher)AES-256、WeChat Work AES-128、Alibaba系SqlCrypto(AES-128)などの暗号化データベースをサポートしています(前提として、鍵を自分で見つける必要があります)。以下では、システムSMSの内容を読み取る簡単なデモを示します。1つのコマンドで実行できます。extensionを作成して読み取ることも可能です。
sqlite3 databases/mmssms.db .dump
出力は非常に多いかもしれませんが、必要なデータが格納されているテーブルをすばやく特定し、SQLクエリを自分で記述できます。この方法は98%のAndroidアプリに適用可能で、残りの2%は暗号化データベースです。
暗号化データベースの確認¶
暗号化データベースの場合、データベースの鍵またはその生成方法をご自身で見つける必要があります。以下では、関連アプリのデータベースを読み取る方法を簡単に紹介します。PRAGMAを使用して鍵を事前設定する方法のみを説明します。これが何か不明な場合は、まずSQLiteについて学習してください。
WeChat系 (sqlcipher)
PRAGMA cipher = "sqlcipher";
PRAGMA legacy = 1;
PRAGMA key = "database-key";
WeChat Work (wxsqlite)
PRAGMA cipher = "aes128cbc";
PRAGMA hexkey = "database-key"
Alibaba系 (sqlcrypto)
PRAGMA cipher = "sqlcrypto";
PRAGMA key = "database-key"
ヒント
注意:Androidアプリのデータベースは必ずしもdatabasesディレクトリにのみ配置されるわけではありません。
その他のデータの確認¶
もちろん、アプリのデータディレクトリにはデータベースだけでなく、アプリのパラメータ、設定、キャッシュ、ファイルなども含まれます。例えばshared_prefs(XMLファイル)などです。詳細は紹介しませんので、ご自身で探索してください。
自動化の補助手段¶
自動化業務では、すべてのアプリがSelectorによる要素特定に適しているわけではありません。ゲームなどの一部の画面はリアルタイムレンダリングのため、Androidレベルのページレイアウトが存在しません。このようなアプリでは、OCRまたは画像マッチングを使用して判定するしかありません。具体的なインターフェースと使い方については、文字認識、画像マッチングの章を参照してください。