スマートフォンのモーションセンサーでイヤースピーカーの音声の振動を読み取る攻撃手法「EarSpy」

headless 曰く、

複数の米大学のメンバーによる研究グループがスマートフォンのモーションセンサーを用い、通話中のイヤースピーカーの振動から通話相手や内容を読み取る手法「EarSpy」の研究成果を発表している
(論文アブストラクト、
HackRead の記事、
Android Police の記事)。

モーションセンサーは権限の明示的な許可を得ることなく利用できるため、さまざまなサイドチャネル攻撃手法の研究が行われている。出力の小さいイヤースピーカーの振動をモーションセンサーで読み取ることは難しいと考えられていたが、最近のステレオスピーカー搭載モデルではイヤースピーカーを 2 つ目のラウドスピーカーと兼用できるようにしているものもある。実際にイヤースピーカーとして使用する時には出力を抑えることになるが、それでもステレオスピーカーを搭載しないモデルと比べて加速度計で読み取れる情報が多くなっているという。

研究グループでは一般公開されている発話データセットを用い、古典的な機械学習アルゴリズム、新たに開発した畳み込みニューラルネットワークに学習させて性別や話者、発話内容の検出を実行している。使用スマートフォンはいずれもステレオスピーカーを搭載する OnePlus 7T と OnePlus 9 の 2 機種だ。その結果、性別は最高 98.66 %、話者は最高 92.6 % の正確さで認識可能であり、発話内容 (0 ～ 9 の数字を英語で発音したもの) も最高 56.42 % の正確さで認識できたそうだ。Android 12 以降ではモーションセンサーのデータのリフレッシュレートがデフォルトで 200 Hz に制限されており、より高いリフレッシュレートでの読み取りには権限の許可を得る必要がある。しかし、制限された状態でも性別の検出は 90.97 % の正確さが得られたとのことだ。