基本自動化¶

本章では、FIRERPA が提供する自動化の基本機能について説明します。さらに高度な機能については後続の章で説明します。ここでは、よく使用される基本的な機能インターフェースを紹介します。

デバイス情報の取得¶

現在のデバイス情報（デバイス名、画面サイズ、画面の向き、現在のアプリなど）を取得します。

d.device_info()

>>> d.device_info()
productName: "bumblebee"
sdkInt: 34
displayHeight: 2400
displaySizeDpX: 411
displaySizeDpY: 914
displayWidth: 1080
screenOn: true
naturalOrientation: true
currentPackageName: "com.android.launcher3"

>>> result = d.device_info()
>>> print (result.displayWidth)
1080

サービス情報の取得¶

現在のサービスのバージョン、デバイス固有 ID、ABI などの情報を取得します。

d.server_info()

>>> d.server_info()
uniqueId: "673abbe0-ff7b-9d82-1792-8876cb72cf56"
version: "9.25"
architecture: "arm64-v8a"
uptime: 293
secure: false

>>> result = d.server_info()
>>> print (result.secure)
False

画面オフ（スリープ）¶

以下のインターフェースは、現在のスマートフォンの画面をスリープ状態にします。画面が点灯している状態で電源ボタンを押したときと同じ効果です。

d.sleep()

画面オン（ウェイクアップ）¶

以下のインターフェースは、現在のスマートフォンの画面を点灯させます。画面がスリープ状態のときに電源ボタンを押したときと同じ効果です。

d.wake_up()

画面が点灯しているかどうか¶

以下のインターフェースを使用して、現在のデバイスの画面が点灯しているかどうかを確認し、操作可能かどうかを判断できます。

d.is_screen_on()

画面がロックされているかどうか¶

以下のインターフェースを使用して、現在のデバイスの画面がロック状態かどうかを確認し、操作可能かどうかを判断できます。

d.is_screen_locked()

Toast の表示¶

以下のインターフェースを使用して、スマートフォンの画面上に Hello from Lamda! という Toast メッセージを表示します。

d.show_toast("Hello from Lamda!")

クリップボードの読み取り¶

以下のインターフェースは、スマートフォンの現在のクリップボードの内容を読み取ります。現在のところ Android 10+ はサポートされていません。

d.get_clipboard()

クリップボードへの書き込み¶

以下のインターフェースは、現在のデバイスのクリップボードにコンテンツを書き込みます。

d.set_clipboard("クリップボードの内容")

物理キー¶

以下のメソッドを使用して、キー操作をシミュレートできます。KEY_BACK、KEY_DOWN、KEY_HOME など、10 種類以上のキーをサポートしています。

d.press_key(Keys.KEY_BACK)
d.press_key(Keys.KEY_CAMERA)
d.press_key(Keys.KEY_CENTER)
d.press_key(Keys.KEY_DELETE)
d.press_key(Keys.KEY_DOWN)
d.press_key(Keys.KEY_ENTER)
d.press_key(Keys.KEY_HOME)
d.press_key(Keys.KEY_LEFT)
d.press_key(Keys.KEY_MENU)
d.press_key(Keys.KEY_POWER)
d.press_key(Keys.KEY_RECENT)
d.press_key(Keys.KEY_RIGHT)
d.press_key(Keys.KEY_SEARCH)
d.press_key(Keys.KEY_UP)
d.press_key(Keys.KEY_VOLUME_DOWN)
d.press_key(Keys.KEY_VOLUME_MUTE)
d.press_key(Keys.KEY_VOLUME_UP)

さらに、その他の多くのキーをサポートするために、このメソッドを使用してシミュレートすることもできます。サポートされているすべてのキー名は、Android 公式ドキュメントで確認できます：https://developer.android.com/reference/android/view/KeyEvent。

d.press_keycode(KeyCodes.KEYCODE_CALL)

スクリーンショット¶

スクリーンショットを取得するメソッドが提供されており、フローの記録や画像認識操作などが可能です。以下の例では、品質 60 でスクリーンショットを撮り、現在のディレクトリに screenshot.png として保存する方法を示します。

d.screenshot(60).save("screenshot.png")

>>> result = d.screenshot(60)
>>> result
<lamda.types.BytesIO object at 0x7a28361d60>
>>> result.save("screenshot.png")
52917
>>> result.getvalue()
b'\xff\xd8\xff\xe0\x00\x10JFIF\x00\x01....'

現在、領域指定および要素のスクリーンショットもサポートされています。要素のスクリーンショットについては本章では扱いませんが、ここでは領域指定のスクリーンショットを紹介します。領域の概念と定義を理解する必要があります。本インターフェースでは、領域は Bound で定義され、top、left、right、bottom の 4 つのパラメータを含みます。Android の画面は通常の座標系とは異なり、デバイス画面の左上隅が原点で、座標は x=0, y=0 です。現在の画面が縦向きで解像度が 1080×1920 の場合、全画面の領域スクリーンショットを撮るには次のようにします。

d.screenshot(60, bound=Bound(top=0, left=0, right=1080, bottom=1920)).save("screenshot.png")

この操作により全画面のスクリーンショットが生成されますが、デフォルトで全画面なので、特に指定する必要はありません。では、左上隅にある 200×200 の画像をキャプチャするにはどうすればよいでしょうか？ これも簡単で、以下のように操作するだけです。

d.screenshot(60, bound=Bound(top=0, left=0, right=200, bottom=200)).save("screenshot.png")

ここで、これらのパラメータの意味を説明します。top は Y 軸方向に上から下へ top ピクセル分オフセットした位置、bottom は Y 軸方向に上から下へ bottom ピクセル分オフセットした位置、left および right は X 軸方向に左から右へオフセットしたピクセル数を表します。なお、常に top < bottom、left < right となります。さらに別の例を示します。画面の右下隅 200×200 をキャプチャするには、次のようにインターフェースを呼び出すだけです。

d.screenshot(60, bound=Bound(top=1920-200, bottom=1920, left=1080-200, right=1080)).save("screenshot.png")

画面上の1点をクリック¶

以下のインターフェースを使用して、画面のタップをシミュレートします。例では、画面上の座標 (100, 100) の点をクリックしています。

d.click(Point(x=100, y=100))

点Aを押して点Bにドラッグ¶

以下のインターフェースを使用して、点 A にあるオブジェクトを点 B にドラッグできます。例えば、アイコンをフォルダにドラッグするような操作です。

A = Point(x=100, y=100)
B = Point(x=500, y=500)

d.drag(A, B)

点Aから点Bへスワイプ¶

以下のインターフェースを使用して、画面座標 (100, 100) から (500, 500) へスワイプします。

A = Point(x=100, y=100)
B = Point(x=500, y=500)

d.swipe(A, B)

やや複雑なマルチポイントスワイプ¶

以下のインターフェースは、複数点のスワイプをシミュレートできます。たとえば、以下の呼び出しは (100, 100) から (500, 500) へスワイプし、その後 (200, 200) へ戻ります。このデモでは 3 点のみスワイプしていますが、実際にはさらに多くのポイントを指定でき、パターンロック解除なども実現できます。

p1 = Point(x=100, y=100)
p2 = Point(x=500, y=500)
p3 = Point(x=200, y=200)

d.swipe_points(p1, p2, p3)

クイック設定を開く¶

以下の呼び出しでクイック設定パネルを開くことができますが、半分だけ展開された状態になります。

d.open_quick_settings()

通知バーを開く¶

以下の呼び出しで画面上の通知バーを開くことができます。

d.open_notification()

画面レイアウトの取得¶

以下の呼び出しで現在の画面の XML レイアウトを取得できます。解析して xpath による自動化に利用することも可能です。

d.dump_window_hierarchy()

>>> result = d.dump_window_hierarchy()
>>> result
<lamda.types.BytesIO object at 0x7add660680>
>>> result.getvalue()
b'<?xml version=\'1.0\' encoding=\'UTF-8\' standalone=\'yes\' ?>\r\n<hierarchy rotation="0">\r\n  <node index="0" text="" resource-id="" class="android.widget.FrameLayout" package="com.android.systemui" content-desc="" checkable="false" checked="false" clickable="false"...

ウィンドウがアイドル状態になるのを待つ¶

以下の呼び出しを実行すると、現在のウィンドウがアイドル（静止）状態になるまで待機します。Selenium の implicitly_wait に似ています。パラメータの単位はミリ秒です。5*1000 は 5000 ミリ秒（つまり 5 秒）待つことを意味します。

d.wait_for_idle(5*1000)

直近の Toast を取得¶

以下の呼び出しを実行すると、システム内の直近の Toast メッセージを取得できます。ただし、システム API 経由で送信された Toast メッセージのみが対象で、サードパーティ製の Toast 風 UI メッセージは取得できません。

d.get_last_toast()

>>> result = d.get_last_toast()
>>> print (result)
timestamp: 1700000000000
package: "com.android.settings"
message: "\346\202\250\345\267\262\345\244\204\344\272\216\345\274\200\345\217\221\350\200\205\346\250\241\345\274\217\357\274\214\346\227\240\351\234\200\350\277\233\350\241\214\346\255\244\346\223\215\344\275\234\343\200\202"
>>> print (result.message)
您已处于开发者模式，无需进行此操作。