背景
Apple Vision Proは、デジタルコンテンツを物理空間へ自然に溶け込ませる“空間コンピューティング”を一般化する革新的デバイスとして2024年に発売されました。企業利用においても、従来不可能だった体験型アプリケーションの開発が加速しており、空間コンピューティング市場は2030年までに約4,235億米ドル規模※1へ成長すると予測されています。
一方で、Apple Vision Proの高精細なパススルー映像を最大限に活かす“没入型ビジュアル表現”の方法論はまだ確立途上です。そこでGraffityとP.I.C.S.は、自社のXR／映像制作ノウハウを融合し、現実映像をAIで瞬時に変換する検証プロジェクトを立ち上げました。
※1 https://www.ibm.com/jp-ja/think/insights/spatial-computing-future-of-ai
概要
本プロジェクトでは、iPhoneのカメラ映像をPCへリアルタイムでストリーミングし、TouchDesigner上で生成AIフィルターを適用するワークフローを構築しました。加工後の映像をNDI®プロトコルでApple Vision Proへ伝送することで、ユーザーは周囲の実環境が「海」「宇宙」「サイバーシティ」などに瞬時に変容するインタラクティブな体験を得られます。
主な特徴・機能
- iPhone映像をPCへ低遅延ストリーミングし高解像度で取り込み
- TouchDesigner＋生成AIにより音声入力のプロンプトベースでリアルタイム映像変換（例：「海みたいな空間にして」）
- NDI®経由でApple Vision Proへ送信し、視野全体を変換映像でシームレスに書き換え
パートナー企業と役割
P.I.C.S.は、ホールディングスカンパニーである株式会社IMAGICA GROUP（代表取締役社長：長瀬 俊二郎、本社：東京都港区）との連携のもと、Apple Vision Proを用いた新しい映像表現と体験の研究を進めています。
同社のテクニカルチーム＜P.I.C.S. TECH＞は、最先端技術の探究と実装を通じて、CMやMV、アニメーション制作で培ったクリエイティブな知見を、新たな空間体験へと拡張しています。
本プロジェクトでは、同チームが企画立案とTouchDesigner上で動作するAIフィルターの実装を担当しました。
Graffityは、iPhone-to-PCストリーミング、NDI®送受信、visionOSアプリケーション開発を実装しています。Apple Vision Pro向けタイトル「Ninja Gaze Typing」「Shuriken Survivor」や企業とのApple Vision Proを活用した共同プロジェクトなど複数の開発実績で培った知見を活かし、高画質な空間描画を実現しました。
Graffityの技術的強み
Graffityは企画からアプリ実装まで内製で完結できる体制を持ち、パートナー企業の課題やテーマに合わせた柔軟な技術選定が可能です。また、Apple Vision Pro向けタイトル「Ninja Gaze Typing」「Shuriken Survivor」などBtoC向けタイトルで獲得したUX知見をビジネス領域へ転用し、Apple Vision Proアプリを迅速にプロトタイプ→実運用へ落とし込める点が強みです。
将来の展望
両社は今後も連携を継続し、Apple Vision Proを活用したリアルタイムビジュアル表現の研究開発を進めます。さらに、空間体験をコアとした施策を検討する企業・自治体・クリエイターとの共同研究／PoC（概念実証）パートナーを広く募集します。
▼ インタビュー記事
ご相談・お問い合わせは、お問い合わせページよりご連絡ください。