基本的な自動化操作¶

この章では、FIRERPAが提供する基本的な自動化機能について説明します。より高度な使用方法については後ほど説明しますが、この章ではよく使われる基本的な機能のインターフェースを紹介します。

デバイス情報の取得¶

現在のデバイス情報（デバイス名、画面サイズ、画面の向き、現在のアプリケーションなど）を取得します。

d.device_info()

>>> d.device_info()
productName: "bumblebee"
sdkInt: 34
displayHeight: 2400
displaySizeDpX: 411
displaySizeDpY: 914
displayWidth: 1080
screenOn: true
naturalOrientation: true
currentPackageName: "com.android.launcher3"

>>> result = d.device_info()
>>> print (result.displayWidth)
1080

サービス情報の取得¶

現在のサービスのバージョン、デバイスの一意のID、バージョン、ABIなどの情報を取得します。

d.server_info()

>>> d.server_info( )
uniqueId: "673abbe0-ff7b-9d82-1792-8876cb72cf56"
version: "8.28"
architecture: "arm64-v8a"
uptime: 293
secure: True

>>> result = d.server_info()
>>> print (result.secure)
False

画面をオフにする¶

以下のインターフェースは、現在のスマートフォンの画面をオフにします。これは、画面がオンの状態で電源ボタンを1回押すのと同じ効果です。

d.sleep()

画面をオンにする¶

以下のインターフェースは、現在のスマートフォンの画面をオンにします。これは、画面がオフの状態で電源ボタンを1回押すのと同じ効果です。

d.wake_up()

画面がオンかどうか¶

以下のインターフェースを使用して、現在のデバイスの画面がオンの状態であるかどうかを確認し、操作が可能かどうかを判断できます。

d.is_screen_on()

画面がロックされているかどうか¶

以下のインターフェースを使用して、現在のデバイスの画面がロック解除されているかどうかを確認し、操作が可能かどうかを判断できます。

d.is_screen_locked()

Toastを表示する¶

以下のインターフェースを使用して、スマートフォンの画面に Hello from Lamda! というToastメッセージを表示できます。

d.show_toast("Hello from Lamda!")

クリップボードを読み取る¶

以下のインターフェースは、スマートフォンの現在のクリップボードの内容を読み取るために使用します。現在、Android 10以降はサポートされていません。

d.get_clipboard()

クリップボードに書き込む¶

以下のインターフェースは、現在のデバイスのクリップボードに内容を書き込むために使用します。

d.set_clipboard("クリップボードの内容")

物理キー¶

以下のメソッドを使用して、キー操作をシミュレートできます。KEY_BACK、KEY_DOWN、KEY_HOMEなど、十数種類のキーをサポートしています。

d.press_key(Keys.KEY_BACK)
d.press_key(Keys.KEY_CAMERA)
d.press_key(Keys.KEY_CENTER)
d.press_key(Keys.KEY_DELETE)
d.press_key(Keys.KEY_DOWN)
d.press_key(Keys.KEY_ENTER)
d.press_key(Keys.KEY_HOME)
d.press_key(Keys.KEY_LEFT)
d.press_key(Keys.KEY_MENU)
d.press_key(Keys.KEY_POWER)
d.press_key(Keys.KEY_RECENT)
d.press_key(Keys.KEY_RIGHT)
d.press_key(Keys.KEY_SEARCH)
d.press_key(Keys.KEY_UP)
d.press_key(Keys.KEY_VOLUME_DOWN)
d.press_key(Keys.KEY_VOLUME_MUTE)
d.press_key(Keys.KEY_VOLUME_UP)

同時に、他の多くのキーをサポートするために、このメソッドを使用してシミュレートすることもできます。サポートされているすべてのキー名は、こちらのAndroid公式ドキュメントで確認できます：https://developer.android.com/reference/android/view/KeyEvent。

d.press_keycode(KeyCodes.KEYCODE_CALL)

スクリーンショット¶

スクリーンショットを撮るメソッドを提供しています。これにより、プロセスを記録したり、画像認識操作を行ったりすることができます。以下の呼び出しは、品質60の画像をキャプチャし、カレントディレクトリに screenshot.png ファイルとして保存することを意味します。

d.screenshot(60).save("screenshot.png")

>>> result = d.screenshot(60)
>>> result
<lamda.types.BytesIO object at 0x7a28361d60>
>>> result.save("screenshot.png")
52917
>>> result.getvalue( )
b'\xff\xd8\xff\xe0\x00\x10JFIF\x00\x01....'

現在、領域スクリーンショットと要素スクリーンショットもサポートしています。要素スクリーンショットについてはこの章では説明しません。ここでは領域スクリーンショットについて説明します。領域の概念と定義を理解する必要があります。私たちのインターフェースでは、領域は Bound で定義され、top、left、right、bottomの4つのパラメータを含みます。Androidの画面は通常の座標系とは異なり、現在のデバイス画面の左上が原点（座標 x=0, y=0）となります。現在の画面が縦向きで、解像度が1080x1920であると仮定すると、全画面の領域スクリーンショットを撮るには、次のようにします。

d.screenshot(60, bound=Bound(top=0, left=0, right=1080, bottom=1920)).save("screenshot.png")

これにより全画面のスクリーンショットが生成されますが、デフォルトで全画面スクリーンショットが撮られるため、これは不要です。では、左上に寄った200x200の画像を撮りたい場合はどうすればよいでしょうか。これも簡単で、次のようにするだけです。

d.screenshot(60, bound=Bound(top=0, left=0, right=200, bottom=200)).save("screenshot.png")

ここで、これらのパラメータの意味を説明します。パラメータの中で、topはY軸から下にtopピクセル、bottomはY軸から下にbottomピクセル、leftとrightはX軸から右にNピクセルを意味します。ここで、topは常にbottomより小さく、leftは常にrightより小さくなければなりません。次に、画面右下の200x200の画像を撮る例を示します。次のようにインターフェースを呼び出すだけです。

d.screenshot(60, bound=Bound(top=1920-200, bottom=1920, left=1080-200, right=1080)).save("screenshot.png")

画面上の一点をクリックする¶

以下のインターフェースを使用して、画面のクリックをシミュレートできます。この例では、画面上の座標 (100, 100) の点をクリックします。

d.click(Point(x=100, y=100))

点Aをタップして点Bにドラッグする¶

以下のインターフェースを使用すると、点Aの位置にあるものを点Bにドラッグできます。例えば、アイコンをフォルダにドラッグするような操作です。

A = Point(x=100, y=100)
B = Point(x=500, y=500)

d.drag(A, B)

点Aから点Bへスワイプする¶

以下のインターフェースを使用すると、画面の座標 (100, 100) から座標 (500, 500) へスワイプできます。

A = Point(x=100, y=100)
B = Point(x=500, y=500)

d.swipe(A, B)

やや複雑なマルチポイントスワイプ¶

以下のインターフェースは、マルチポイントスワイプをシミュレートできます。例えば、以下の呼び出しは (100, 100) から (500, 500) へスワイプし、その後 (200, 200) に戻ります。以下のデモでは3つの点しかスワイプしていませんが、実際にはより多くの点を提供して、九宮格（パターン）ロック解除などを実現することもできます。

p1 = Point(x=100, y=100)
p2 = Point(x=500, y=500)
p3 = Point(x=200, y=200)

d.swipe_points(p1, p2, p3)

クイック設定を開く¶

以下の呼び出しで、画面上のクイック設定を開くことができます。

d.open_quick_settings()

通知バーを開く¶

以下の呼び出しで、画面上の通知バーを開くことができます。

d.open_notification()

ページレイアウトを取得する¶

以下の呼び出しで、現在のページのXMLレイアウトを取得できます。これを自分で解析して、XPathによる自動化をサポートすることもできます。

d.dump_window_hierarchy()

>>> result = d.dump_window_hierarchy()
>>> result
<lamda.types.BytesIO object at 0x7add660680>
>>> result.getvalue()
b'<?xml version=\'1.0\' encoding=\'UTF-8\' standalone=\'yes\' ?>\r\n<hierarchy rotation="0">\r\n  <node index="0" text="" resource-id="" class="android.widget.FrameLayout" package="com.android.systemui" content-desc="" checkable="false" checked="false" clickable="false"...

ウィンドウが静止するのを待つ¶

以下の呼び出しを実行して、現在のウィンドウが静止状態になるのを待つことができます。これはSeleniumの implicitly_wait に似ています。パラメータの単位はミリ秒で、5*1000 は5秒間の待機を意味します（ミリ秒から秒への変換単位は1000です）。

d.wait_for_idle(5*1000)