Googleは11月10日、スマートフォン上で自社AI「Gemini」が食料品や料理の注文、配車予約などのアプリ操作を代行する機能を、日本でも提供すると発表した。「Pixel 11」「Pixel 10」シリーズの対象機種向けに、11月の「Pixel Drop」の一環として、ベータ版を数週間かけて順次展開する。
11月のPixel Drop（画像：Google）
※クリックすると拡大画像が見られます
新機能は、Geminiモバイルアプリの「スクリーン オートメーション」を利用する。例えば「空港までの配車を予約して」「カートに牛乳と卵を追加して」と指示すると、Geminiが対応するAndroidアプリの画面を読み取り、必要な操作を進める。
操作には、端末内の仮想スマートフォン環境を使用する。Geminiがアプリを開いて画面上のボタンを押したり、商品をカートに追加したりするなど、通常は利用者が手作業で行う複数の操作を代行する仕組みだ。利用するには、アプリごとにスクリーン オートメーションの使用を許可する必要がある。
操作の進行状況を確認、途中停止も可能
Geminiは指示を受けると、必要に応じて追加情報を尋ね、実行プランを作成する。利用者がチャット画面を閉じてもバックグラウンドで処理を続け、進行状況はチャットや通知から確認できる。
処理はいつでも停止できるほか、Pixel 11シリーズでは途中から利用者自身が操作を引き継ぐことも可能だ。一方、Pixel 10シリーズでは現時点で操作の引き継ぎには対応しておらず、停止のみ可能となっている。
配車予約や注文の確定など、最終段階では利用者自身による確認や操作が必要になる場合がある。また、Googleは、ログイン情報やクレジットカード情報などをGeminiのチャットに直接入力せず、必要な場合は利用者自身がアプリに入力するよう求めている。
ベータ版のため、Geminiが操作対象を誤って認識したり、意図しない商品を注文したりする可能性もある。Googleは、こうした誤操作による購入なども含め、実行結果は利用者の責任になるとして注意を促している。
対象はPixel 10・11シリーズの7機種
Googleのサポートページによると、Pixelでの対応機種は「Pixel 10」「Pixel 10 Pro」「Pixel 10 Pro XL」「Pixel 11」「Pixel 11 Pro」「Pixel 11 Pro XL」「Pixel 11 Pro Fold」の7機種。利用できるのは18歳以上で、個人のGoogleアカウントを使用しているユーザーに限られる。仕事用や学校用、管理対象のアカウントでは利用できない。
対応言語は英語、日本語、韓国語で、操作できるアプリは一部に限られる。機能は段階的に提供されるため、対象機種でもすぐには利用できない場合がある。Googleは、緊急時や機密情報を扱う作業には使用しないよう案内している。
Amazonで現在開催中のセールを見る
Amazonのアソシエイトとして、CNET Japanは適格販売により収入を得ています