音楽と映像の日々

ソニーα7 IVの瞳AF機能は優秀で大いに助けられている。瞳AFのロジックは図形輪郭処理による楕円形の中に2つ小さな円形が水平に並んでいてその中央に突起物があるといった画像処理でもしているのかな、と素人ならではの想像をしていた。

たまたまBS231の放送大学テレビで『データサイエンスの技術』「機械学習理論�T　第4回　スパースモデリング」を放送していてなんとなく見ていたら"少ない観測から高解像度の画像を求める手法"について説明していた。

言葉だけは知っている「機械学習」「データマイニング」「教師あり・なし学習」等の重要な概念を教えてくれるからこの講義は機会があれば視聴するよう心掛けている。

「スパースモデリング」ではブラックホールの撮影写真や医療で使用される脳の血管写真の高解像度化に利用されていると知り良い勉強となった。

参考：データサイエンスの技術 機械学習概論I
　https://bangumi.ouj.ac.jp/v4/bslife/detail/01K01005.html　

それより"スパースモデリングでは、顔の画像を小さなブロックに分割し、各ブロックの輝度値を分析し、輝度値の変化が小さいブロックは瞳の可能性が高いと判断します。"という説明に瞳AFは図形輪郭処理ではなく輝度処理だったのかと驚いた。

これに加えChat GPTに「スパースモデリングとカメラの瞳検知機能の関連性を教えて」もらうと以下の2点に関してもこの手法は優秀だそうだ。

・ノイズや欠損データへの頑健性：照明条件の変化や顔の一部が隠れた場合など、映像中の目の情報が一部欠落している可能性があります。この様な映像から瞳の特徴を抽出する際に有用な手法となります。

・目の位置推定：瞳検知では、カメラで取得された映像から目の位置を推定する必要があります。スパースモデリングは、瞳の特徴を表現するための基底関数の係数を推定することで、目の位置推定に寄与する可能性があります。

基本処理からカメラメーカーごとにチューニングが入り各社の被写体検出AFの性能に差が出るのかと大変勉強になる講義だった。

23/7/9(日)acosta!池袋サンシャインシティではα7 IVがウマ娘ライスシャワーの左目検出に大変苦労していた。FGOのマシュの場合は前髪で隠れた右目でも検出するので、ベレー帽で右目が隠れると言う被り方は想定していないようだ。

「それはそうだろう！」(^_^)