顔認識の仕組み:顔の検出から照合まで

ノートパソコンで顔を登録した人が、次はスマートフォンからログインする。撮影条件が違うのに、なぜ同じ人だと判断できるのでしょうか。顔認識で比較するのは写真そのものではなく、顔から取り出した特徴です。その仕組みと、照合結果からわかること、わからないことを解説します。

ナレッジセンターに戻る
執筆:FACEIOエンジニアリングチーム

顔検出:画像のどこに顔があるかを見つける

カメラを人に向けると、顔の周りに四角い枠が表示されることがあります。この枠が示すのはどこに顔があるかであって、誰の顔かではありません。顔認識では、枠の中にある顔の特徴を数値に変換し、基準となるデータと比較します。画素が一つひとつ一致していなくても、別々の写真に写った顔を同じ人のものと判定できます。

たとえば、社員が福利厚生サイトで顔を登録しようとしています。背後に明るい窓があり、逆光で顔が暗く写っています。カメラが顔を検出できても、照合に必要な細部まで写っているとは限りません。この段階で必要なのは、一人の顔がはっきり写った画像です。「アカウントが見つかりません」ではなく、「明るい方を向いてください」と案内するのが適切です。

位置合わせ:撮影角度が異なる顔を比較する

登録時に使ったのは机の上のノートパソコン。次のログインでは、スマートフォンを少し斜めに構えています。顔が写る位置も大きさも違います。画像全体を画素単位で比べたのでは、顔の違いだけでなく、背景やカメラの角度、構図の違いまで同じように結果に影響してしまいます。

そこで多くの顔認識システムは、両目などを基準点として顔の領域を切り出し、回転や拡大・縮小によって位置と大きさをそろえます。これが位置合わせです。構図の違いは小さくできますが、手ぶれで失われた細部や、画面の外にあって写らなかった部分までは復元できません。

特徴抽出:顔のテンプレートには何が入っているのか

顔認識モデルは、位置をそろえた顔画像をひとまとまりの数値に変換します。これを特徴ベクトル、または埋め込み(embedding)と呼びます。それぞれの数値が「目の色」や「鼻の長さ」を表すわけではありません。モデルは、同じ人の写真から得たベクトル同士が、別人の写真から得たベクトルよりも近くなるように、顔の特徴の表し方を学習します。

一例がFaceNetの研究論文です。FaceNetは、ベクトル間の距離が顔の似ている度合いを表すように学習します。顔をどう数値化し、どう比較するかはエンジンによって異なります。顔のテンプレートは、ファイルが完全に一致するかを確かめるチェックサムとは別物です。照明の変化で画素の値が変わっても、その違いだけで同じ人の顔がまったく無関係になるわけではありません。

登録時はノートパソコンで正面から、次のログインではスマートフォンで斜めから同じ人を撮影。それぞれの顔から得たテンプレートを比較し、類似度を求める。
登録時のテンプレートを基準に、ログインのたびに新しいテンプレートを作って照合します。見るのは数値が完全に一致するかではなく、どの程度近いかです。図の数値は説明用の例です。

顔のテンプレートとアカウントの識別子は用途が異なります。エンジンが顔の照合に使うのはテンプレートで、サイトが対応するアカウントを探すときに使うのは識別子です。FACEIOでは、選択した顔認識エンジンが生体情報のハッシュを管理します。FACEIO自体はそのハッシュを保存、処理、参照しません。アプリケーションに返されるのは特徴ベクトルではなく、Facial IDです。

1対1の照合と1対多の識別はどう違うか

1対1の照合では、比較する相手があらかじめ決まっています。たとえばFACEIO ID Matchは、その場で撮影した自撮り画像と、利用者が提示した身分証明書の顔写真を比較します。確認するのは、二つの顔が同じ人のものに見えるかどうかです。一致しても、書類が本物であることや、提示した人の法的な身元が証明されるわけではありません。

1対多の識別では、一つの決まった参照先と照合するのではなく、複数の登録済みテンプレートの中から候補を探します。未登録の人であっても、候補に順位を付ければ誰かが一位になります。最も似ていることと、本人であると判定できることは別です。そのため、システムには「該当なし」と判断する仕組みが必要です。

類似度スコアの読み方

類似度スコアは、あるモデルから見て二つの顔の特徴がどれだけ似ているかを表します。一致と判定する境目が「しきい値」です。たとえば、似ているほど数値が高くなる尺度でスコアが87だった場合、しきい値が85なら一致、90なら不一致です。これは判定の仕組みを示す例で、推奨設定ではありません。87という値は「87%の確率でアカウントの持ち主」という意味でもありません。

しきい値を厳しくすると、一般に別人を一致と判定する誤りは減りますが、同じ人を不一致と判定する誤りは増えます。「精度」という単一の数値だけでは、利用者がどれくらいの頻度でやり直すことになるかはわかりません。米国国立標準技術研究所(NIST)の1対1照合の評価では、同じしきい値での両方の誤りを確認できます。Amazon Rekognitionのドキュメントには、しきい値を検索結果に適用する具体例があります。

誤一致率からログインについて何がわかるか

同じしきい値を使って二つのテストを行うとします。一つ目は、各社員の顔をその社員自身の登録写真と比較するテストです。二つ目は、協力に同意した参加者同士で、別人の写真を比較するテストです。結果を見るときは、何を分母にしているかに注目してください。

  • 同じ人同士:本人の画像を比較した1,000回のうち20回が不一致なら、このテストでの誤不一致率は2%です。失敗したのは20回の照合であって、必ずしも別々の社員20人が失敗したわけではありません。
  • 別人同士:別人の画像を比較した10,000回のうち2回が一致なら、観測された誤一致率は0.02%です。これは、あるログインが成功したときに、その利用者がなりすましである確率ではありません。

これらは架空の数値で、FACEIOの測定結果ではありません。また、測っているのは顔の照合だけです。カメラの使用が許可されなければ照合には進みませんし、顔が一致してもPINの入力を間違えればログインは完了しません。どちらも照合の誤りとして数えると、改善すべき箇所を見誤ります。

福利厚生サイトなら、社員が実際に利用する端末と環境で試してみてください。自分のスマートフォンでは問題がなく、逆光になる受付端末だけで再試行が多いなら、全員のしきい値を変える前に照明やカメラの向きを見直します。NISTは露出や撮影角度が本人同士の照合に与える影響を報告しています。十分な光の下で撮った写真の評価結果が、そのまま受付に当てはまるとは限りません。

顔の一致だけでは生体検知にならない理由

社員の写真をカメラに向けても、登録写真とよく似ていれば、高い類似度が出ることがあります。二つの顔が似ているという判定は正しくても、「今、本人がカメラの前にいるか」という問いには答えられません。生体検知(ライブネス検知)やなりすまし対策では、顔の特徴だけでなく、撮影時に得られる手がかりも調べます。

FACEIOでは、PINの検証も初期設定で有効です。顔が一致しても、その人が利用者のPINを知っていることにはなりません。これらの対策は互いを補うもので、録画の再生やディープフェイクを必ず見破れるわけではありません。本番導入前に生体検知とPINの設定を確認し、カメラでの確認を完了できない利用者には別のアカウント復旧手段を用意してください。

FACEIOの照合結果をサイトでどう使うか

福利厚生サイトでは、新規登録とログインを分けて実装します。新規登録時は、利用者の同意を得てからenroll()を呼び出し、自分のアプリケーションにその利用者を登録します。返されたFacial IDを正しいアカウントに紐付けます。登録済みの利用者が再びアクセスしたときは、authenticate()を呼び出してログインします。ログインに失敗しても、自動で新規登録をやり直してはいけません。

顔の照合結果だけでは、社員に何の操作を許可するかは決まりません。安全なセッションの確立とアクセス権の確認はバックエンドの役割です。自分の福利厚生情報を見られることと、同僚の記録を見られることは別です。照合がログインのどの部分を担うかは、「顔認証とは?」で解説しています。

結果に応じて次の手順を案内する

  • fioErrCode.NO_FACES_DETECTED:制限時間内に顔を検出できませんでした。顔が画面に収まっているか、暗すぎないかを確認してもらいます。この時点では、照合結果はまだありません。
  • fioErrCode.UNRECOGNIZED_FACE:登録済みの利用者を認識できませんでした。再試行またはアカウント復旧を案内します。エラーを解消するために二重登録を行うのは避けてください。
  • ログイン後、特定の記録を開けない場合:自分の福利厚生情報は見られるのに同僚の記録は開けないのであれば、アクセス制御は正しく機能しています。顔をもう一度読み取っても、閲覧権限が変わることはありません。

fio.jsのエラーコード一覧でも、カメラの使用許可に関する問題と、撮影や顔認識の失敗は区別されています。

自分のサイトで新規登録とログインを試す

FACEIO Consoleでアプリケーションを作成し、5分で始める導入ガイドに沿ってPublic IDを指定してfio.jsを読み込みます。新規登録と、登録後のログインをそれぞれ試してみてください。

FACEIO Consoleを開く