東北ずん子のアニメデータ（原画＋中割14000枚）で何ができるか考えてみた

概要

  • 3万円でアニメの原画＋中割14000枚＋着色後中割14000枚が6月12日までの支援で入手できる
  • 着色、中割の作画、エフェクトについて自動化できないかという期待があるらしい。まあまあできそうな気はする
  • 圧倒的ボリュームのデータを使っての画像処理やら機械学習やら深層学習やらで色んなことができるね、たーのしー、になりたい

東北ずん子のアニメとは

東北ずん子とは

  • 東北復興を応援する2次元キャラクター。 東北ずん子 公式HP
  • f:id:esuji5:20170609002643p:plain
  • 東北ずん子は東北企業であればイラストを無償で商用利用出来るキャラクターです。 を始めとした様々な利用ガイドラインがある。

ずんだホライずんとは

よくわかるアニメ業界の現状とこのデータセットにかける関係者の思い

が、こちらのTogetterにまとまっていますのでご一読ください。

アニメ技術開発の研究材料に。東北ずん子がデータ２８０００枚提供 - Togetterまとめ

支援するためのクラウドファンディングのページはこちら

取得したデータでどんなことができそうか

取得できるデータ

  • 原画
  • 中割絵（いわいる動画）の未着色のもの：14000枚
  • 中割絵（いわいる動画）の着色後のもの（仕上げ処理まで？）：14000枚
  • 容量については100GBほど、何らかのサーバーからダウンロードする形式になるらしい

やってみたい

  • 着色の自動化：カット毎の1枚目の着色後中割を基点にしてその後の未着色中割に適切な色を塗る
    • 画像の輪郭群を取得して、重心毎に色を記憶しておき、次のフレーム画像に対して近い位置にある重心に同じ色を塗っていくような画像処理の範疇で実装できるのでは
  • 中割の自動化：原画と原画のモーフィングのような手段しかアイデアがない。既存手法も似たようなものではなかろうか。CNNで上手いことやればどうにかできるのかもしれないが、私には知見がない

完成動画から抜き出したデータを含めてどんなことができそうか

完成後の動画を使ったアレコレも許されるのであれば、以下のようなデータを生成して追加で試してみたい。

生成

  • 完成動画（撮影処理後）のコマ毎の画像に切り出す
  • 画像を線画化したものを作成する

やってみたい

  • エフェクトの自動化？：着色後中割とコマ毎の画像の差分でどんな撮影処理が入っているかを見る
    • GohhoChainerのような画風変換処理でエフェクトの感じを抜き出せないだろうか
  • 以下、制作側を助けるものではなく、ファン側が悦に入るための仕組みについて
    • カット数を数える：場面の移り変わりを検知してカット数を数える。作品の予算感が分かる部分である
    • 動画枚数を数える：単純に差分のある枚数だけ数えても、炎のCGエフェクト等で毎フレーム差分がある箇所があったりする。そういうのは除外して作画してある動画枚数を数えたい。カット数と同じく、作品の予算感が分かる。
      • 正解として14000枚という目安があるのはとてもありがたい
    • OP・EDに出てくるスタッフ一覧をOCRでデータ化する：あの原画の人がここでもーみたいなのを色んなアニメ作品を横断して知りたい
      • 作品によってフォーマットが違いすぎるので、公式にどこかに出してもらうようにするほうが100倍くらい建設的ではある

アニメ業界を救えるの？

6月7日のクローズアップ現代でもアニメーターの貧困が取り上げられて、一般的なアニメファンの間でも業界をどうにかしたほうが良いのではという機運が高まっているのを感じます。 ただ、門外漢からすべての状況が見えるほど単純な問題ではなさそうなので、「実際にある具体的な問題を提示してもらって、技術者として解を見つけられそうなら協力する」くらいのスタンスでいるのがいいのかなと思います。今回で言えば「出）原画、中割、着色後中割 求）着色の自動化、中割の自動化、エフェクトの自動化」くらいの対応であるべきかと。

「技術でこんなことができそうだなー」と門外漢で盛り上がるのは勝手だが、「アニメ業界はこんなことをするべきだ！」と押し付けるのはちょっと違うかなと。

まとめ

はやくクラウドファンディングに支援して画像処理やら機械学習やら深層学習やらでこんなことができそうだねたーのしー、になりましょう。 （この記事を書くのが遅すぎてあと少ししか期間がない。6月12日までです） 僕が考えたもの以外でもやってみたいこと・やれそうなことでアイデアを募りたい。

せっかくデータを色んな人が入手しそうなので「東北ずん子のことをやるもくもく会」とかやっていきたい。あわよくばアニメ関係者にも参加してもらって知見・アイデアをいただきたい。

支援するためのクラウドファンディングのページはこちら

  • 「ずんだホライずんのデータをゲットできる特別コース」(30000円)と合わせて、「アニメを絶対見るぞコース」(5000円)を申し込むのが色々ゲット出来る組み合わせっぽいです。