DAIN(Depth-Aware Video Frame Interpolation)で動画のフレーム補間ができるGUIアプリ(DAIN-App)があるようなので試してみる
やってみた
やること
- DAINのGUIアプリのDAIN-App (Alpha 0.31)を試してみる
- 今は0.40になっている
- 15fpsの動画(mp4)を、4倍の60fpsに変換してみる
やらないこと
- githubにDAIN自体のソースは公開されているが今回こちらはやらない
Paper: Depth-Aware Video Frame Interpolation
結果
変換元の動画 15fps
変換後の動画 60fps (15→60に4倍のフレーム補間)
0.25倍速で比較 左：変換元 ⇔ 右：変換後
できた！
サンプルで掲載した動画では微妙に効果が分かりにくいが、動画のフレーム補間でFPSを向上できた(2倍、4倍、8倍が選べる)
変換処理はかなりの時間がかかる
やりかた（使い方）
DAIN-Appのダウンロード
Dain-App 1.0 [Nvidia Only] by GRisk
Animation Interpolation powered by AI
grisk.itch.io
「Download」からダウンロードし、rarファイルを任意のフォルダに解凍する
解凍後のサイズは約1.6GByte
DAIN-Appの起動
解凍後のフォルダにある「DAINAPP.exe」を起動する
フレーム補間を実行
基本的な使い方は下記の通り
- 「Input File」で変換元の動画ファイルを選択
- 「Output Folder」で出力先を選択
- 「Interpolate 2X」「Interpolate 4X」「Interpolate 8X」からフレーム補間の倍率を選択
- 「Render」を押す
変換中は下記のようなコンソールが表示される
変換完了までの予想時間は表示されないようだが、変換処理はかなり時間がかかる
FullHD(1920×1080) 30fpsの数分の動画を、60fpsに変換しようとすると数時間とかかかるレベル
下記のダイアログが表示されたら変換完了
解像度の高い動画を変換しようとしてメモリ不足でエラーになる場合は、「Split frames into sections.」にチェックを入れて試すとよい模様
変換元のフレーム画像がブレていると補間結果もいまいちだが、元画像に形がしっかり映っていれば割と滑らかに補間される印象
解散！
※フレーム補間が時間方向の超解像とすれば、画像拡大は空間方向の超解像か
TecoGANで超解像変換(低解像度→高解像度)をやってみた
TecoGAN(Temporally Coherent GANs)の超解像変換で画像を低解像度から高解像度にできるようなので試してみる
wells12.com
2020.09.11
リンク
いいね？？(1)
読み込み中...
