怖い実話としてよく耳にする「ある日突然Goolgeアカウントから締め出され、抗議しても泣き寝入り」にこれまた強烈な例がありました。

遠隔診療のため医療機関の指示で幼児の生殖器の写真を送信した父親が、Googleから「有害なコンテンツ」のアップロードを理由にアカウント停止処分と当局への通報を受け、捜査の結果警察の疑いは晴れたもののGoogleは許さず、GmailやGoogle Fi電話番号を含むアカウントを永久に消去した事例を NY Timesが伝えています。

リンク先は複数の事例や関係者からの聞き取りを含む長大な記事ですが、ひとつの件の概要を引くと、

米サンフランシスコ在住の40代男性が、乳幼児の息子の性器に腫れがあり痛がっていることに気づき、診察のためAndroidスマートフォンで患部を撮影。2021年のコロナ下であったことから遠隔診療で相談したところ写真を送るよう指示され、妻が iPhoneで医療機関に送信。

処方された抗生剤で症状は治ったものの、撮影から二日後に男性のGoogleアカウントが利用できなくなり、「有害なコンテンツ」「違法行為の疑いがある、Googleポリシーの重大な違反」を理由に告げられる。

男性は10年分以上のメールや連絡先、写真、個人ファイル等を保存していたが、すべてアクセス不能になった。またGoogleの携帯電話サービスGoogle Fi ユーザーだったため、電話番号も使えなくなった。認証にメールアドレスや電話番号等を使っていたGoogle以外のサービスにもアクセスできなくなった。

男性はエンジニアとして通報をもとに動画を取り下げるシステムに関わった経験から、こうしたシステムには誤検出がつきもので、プロセスの途中には必ず人力のチェックがあると考え、Googleアカウントの停止も誤解が解けるだろうとフォームから申し立てをしたが、Googleからの対応はなく、結局はアクセスできないまま永久消去された。

数か月後に警察から封書が届き、Googleから関係機関への通報をもとに令状を得て男性のGoogleアカウント内のメールや写真等を児童虐待の疑いで捜査したが、結果として嫌疑は晴れていたことが判明した。

男性が警察に問い合わせたところ、嫌疑が晴れたタイミングで男性に連絡を試みるも不通で伝えられなかったこと、アカウントとデータを削除されても、それはGoogleとの間で解決すべきことであり警察は何もできないと説明された。

といった内容。男性はGoogleを相手にした訴訟も検討したものの、多額の費用がかかることから断念したとされています。

さて、通常であれば個人対 Googleで何もできず、何があったのかも知らされないまま泣き寝入りになるところですが、NY Timesはこの件についてGoogle側のコメントをとっています。

そちらは煎じ詰めれば「目視で確認した際に腫れや赤みは認めなかった(ため性的虐待と判断した)」「問題の写真の6か月前に撮影された動画に、幼児と裸の女性がベッドにいるものがあった」「性的虐待であったとの判断は正しいと考えており、見直しはしない」。

男性はこの動画について、はっきりとした記憶はないものの、おそらく休日の朝にでもベッドにいる息子と妻を撮ったものだろう、誰かの目に触れるなど考えもしなかったし、パジャマで寝ていればこんなことにはならなかったのにと語っています。

このほかテキサス州での事例や、具体的な画像検出の方法(既知の画像とのハッシュ照合やGoogleのAIによる判定)、発見された場合の通報プロセス等については NY Times の記事を参照。