ARは、HMDやスマートフォンなどを用い、実世界に付加情報を重ねて表示するものが一般的だが、実世界に裸眼視可能な付加情報をプロジェクタなどで投影する空間拡張現実(Spatial Augmented Reality、SAR)もある。プロジェクションマッピングはその応用例の一つだ。
AARはこのSARと、AR HMDを組み合わせた2重のARシステムだ。
プロトタイプはAR HMD(Microsoft HoloLens)をベースに、上下左右の2軸で水平方向240度、垂直方向95度の角度で動くパンチルト機構を頭部に設置。その上に小型レーザープロジェクター(解像度1280×720)を装着した。サーボモーターで駆動し、頭部の動きとは別に、独立した動きでプロジェクタの投影方向を変えられる。
プロジェクターを固定していないため、頭が頻繁に動いても正確に投影し続けるようにしなければいけない。多視点画像から場面を3次元映像として復元する技術「Structure from Motion」(SfM)により、自動でプロジェクターと周囲の形状を計測して補正する。こうして得られたデータからパンチルト機構を駆動するパラメーターを作成し、適切に動作するよう反映する。
AR HMDで見ている画像だけでなく、別の画像も同時に投影できる。AR映像の共有以外に、インタラクティブな操作も可能だ。