NVDIAは6月18日、同社の研究チームがAIで動画のフレーム間を補完して高品質な疑似スローモーション映像を作成できるシステムを開発したと発表しました。
通常、スローモーション映像を作成するためには、特殊なカメラを使用して1秒間あたりに数百フレームを撮影する必要があります(通常の動画では30フレームおよび60フレーム、映画では24フレーム)。
今回NVIDIAが発表した技術では、少ないフレーム数の動画のフレーム間をAIで補完し、疑似的に数百フレームの動画を作り出します。
その効果は下の動画で分かる通り、驚くべきものです。再生速度を落とすとコマ送りのようになってしまうところを、AIによるフレーム補完で、非常に滑らかな再生を行っています。衣服や流体など、不規則な動きをする対象に関しても、紹介動画を見る限り、見事に表現されています。
(Video:NVIDIA /YouTube)
基本的に今回の技術では、AIシステムは連続する2つのフレームを見て、その差異を追跡して中間の映像を補完します。この精度を高めるために、Googleの囲碁AI「Alpha Go」などでもおなじみのディープ・ラーニングが活用されています。
このシステムは今すぐ一般的に広く利用可能になるわけではないようですが、実現すれば多くの活躍の場が想像できます。例えばスローモーションカメラ機能を搭載しているスマートフォンは多く世に出ていますが、240フレーム/秒の動画を撮影するのは、ストレージとバッテリー残量にとって大きな痛手です。今回のシステムでこの点が解消されれば、誰でも手軽にスローモーション映像が撮影できるようになり、スポーツのフォーム解析等にも役立つかもしれません
しかし、そのような使い方ができるまでには、少々時間がかかりそうです。フレーム補完のためには、特定の種類の映像を多数訓練せねばならず、たとえば上記の車の動画に関しても、車が曲がる映像を数多く学習させる必要があったようです。
ただ、AIには人間のような学習の限界はないに等しいため、これらの課題もじきに改善されていくことでしょう。今後も目が離せません。