『TIPSTAR』の映像をWEB上でAIが編集する『BreezeCast』の進化が凄い！

『TIPSTAR』で配信されるレース映像には、ユーザーがより楽しめるように、テロップやBGMなどの演出が編集されています。旧来はさまざまな専用の物理機器を用いて編集作業が行われていましたが、TIPSTAR事業部ではWebブラウザ上で一元的に編集ができるツール『BreezeCast(ブリーズキャスト、以下BC)』を独自に開発。これにより、ネット環境があれば、どこでも編集ができるようになりました。前回（2019年9月）の担当者インタビューでは、BCの開発経緯やWeb化のメリットについて伺いましたが、その後さらに「AIによる自動編集」とともに大幅な進化を遂げたとのこと。何がどう凄くなったのか？担当の藤田恵梨香さん、橋口昂矢さんに話を聞きました。

人が手動で行う操作を自動化できるようにリニューアル

━━ 2020年9月のインタビュー時から、BCは何がどのように進化したのでしょうか？

藤田　物理的な映像編集機器の機能を、Webブラウザ上に集約した使いやすいシステムがBCなのですが、以前は人間が手動で操作することを前提に機能やUI / UXを作り込んでいました。しかし、その後『TIPSTAR』のリニューアルに伴い、配信される映像がレース映像となったため、AIがレース映像を自動編集（以降、AI編集）し、配信する仕組みを求められ、BC側の機能やUI / UXも「AI編集ベース」のシステムにリニューアルしました。

━━ 具体的には、どのような部分が刷新されたのですか？

藤田　前提として、『TIPSTAR』で配信できる映像の本数には上限があり、競輪とオートレースをあわせて50以上の会場から届く映像を、当日配信する映像に順番に切り替えて配信していく必要があります。また、テロップを出しているサーバ台数にも限りがあるため、どのサーバでどの会場のテロップを編集するかといったハンドリングも同時に必要になります。

従来は、その作業をネットワーク側のスタッフが手動で設定していましたが、各開催地と映像編集を実行するサーバを機械的に紐付ける「線番くん」という機能を実装することで、自動化しました。

橋口　昔は物理機器を使って、手作業でコードをつなぎ替えてスイッチングするのが映像業界のスタンダードだったのですが、それをBC導入でWeb化して、なおかつ自動化したことによってネットワーク側のスタッフの負荷はだいぶ軽減されたはずです。

━━ たしかに自動化できるところは、なるべく自動化した方が便利ですよね。

橋口　手作業によるスイッチングは映像業界では慣習化していたところがあり、なかなかそのカルチャーが変わらなかったのですが、昨年9月に藤田さんがジョインしてくれて、相談ベースで効率化できそうなところを改善してくれたおかげで、劇的な進化が実現できたと思います。

━━ 他にはどのような機能が進化したのでしょうか？

藤田　レースのスケジュール管理も自動化しました。以前は1日に行われるレースの重なり具合を把握するために、現場の編集監督が手作業で全体のスケジュール表を作成していました。この全体スケジュール表を作成するには、前日夜に各会場の出走表をチェックし、グレードや出走時間を手作業で入力する必要がありました。この全体スケジュール表をデータで自動取得してBC上で一覧確認できるようにしました。

━━ 以前は手作業だったのですね…。1日に複数会場で何レースもあるわけですから、コピペ作業ミスとかあったら怖いですよね。

藤田　そうですね。手作業の頃は、毎日スケジュール表作成に時間を要していたそうです。また多い時は1日100以上のレースが開催されているため、実際に抜け・漏れのミスも発生していたようなので、そこは大きな改善になりました。

『BreezeCast』が「AIのキモチ」を表現

━━ 現在はAIがレース映像を検知・認識して、BCがテロップやBGMをAI編集しているのですね？

橋口　そうです。実際にAI編集の様子を見てもらうのがわかりやすいと思いますので、まずはこちらの動画をご覧ください。

左が元映像、右がAI編集された映像。「AIのキモチ」がステータスを表している。

藤田　この中で「AIのキモチ」という表示があるのですが、これはAIがレース映像を識別して検知した、レースのステータスを表しています。この「AIのキモチ」を一定間隔でBCに送ってもらい、編集画面に表示しています。ステータスはだいたい100パターンくらいの状態があり、人間が見てわかりやすい表現に変換したものを表示しています。

━━ 「AIのキモチ」って面白い表現ですよね。わかりやすいですし「AIの中の人」がいるみたいで、愛着がわきますね！

藤田　そうですね。以前は「AI Status」や「ML Status」という名称でしたが、人間が見てわかりやすい表現へ変更を行った際に、橋口さんの命名で「AIのキモチ」に変更しました。

橋口　村瀬さんに「AI Status」のことを聞かれたことがあったのですが、「AIのキモチ」というワードに対して、村瀬さんの「それいいね！」があって、正式決定しました（笑）

━━ 実際のところ、AI編集の精度はいかがでしょうか？どのように人間がチェックして、フィードバックをしているのですか？

橋口　AI編集は、全体として手動編集よりも高精度で信頼性が高いと評価されています。それでも多少は映像とテロップにタイミングの誤差が生じたり、正確な情報が表示されない場合もあるので、人間によるチェック体制は必要です。

以前は、1日の全てのレースが終わってから、現場の編集監督がテロッパースタッフ4名からの報告を吸い上げてから、まとめてフィードバックが行われていました。私たちに届くフィードバックは夜の深い時間になることが多く、AI編集に異常があったと報告された場合、翌日のレースまでに対応するために夜通し修正作業を行うこともありました。

進化したBCでは、1レースごとにAI編集が正常だったか異常があったかをタイムリーに報告できるUIになっています。そのため例えば「先程のレースで、AIが音声を聞き逃していたようです」といった異常報告があった場合に、すぐに対応できるようになりました。

━━ それは、対応する側にとっても負荷の軽減になりますね。BCの進化によって、AIが人をサポートするシステムから、人がAI編集をサポートするシステムになったんですね。

橋口　そうですね。それに伴ってBCそのものを「AI編集ベース」のUIにリニューアルしました。現在は「人がAIをサポートするための管理ツール」という位置づけになっています。

━━ 新しくなったBCを実際に運用してみての感触はいかがですか？

藤田　おおむね好評ですね。先程のレーススケジュール管理に関しては、現場の人たちから「負担が軽減された！」とすごく感謝されました。またテロッパースタッフの方々から「AIのキモチ」を含めてUIが非常にわかりやすくなったとの反響を得ています。個人的にはレースが始まる前の「推論通知」がまだ飛んでない時に、「AIのキモチ」がグレーで表示されるのですが、AIが無になってるというか、オフ感が好きです（笑）

橋口　AI編集のチェックがタイムリーに行われることに関しては、システム開発側の私たちが夜にちゃんと寝られるようになったのは大きいです。

━━ 色んな面でBCが進化していることがよくわかりましたが、まだ残された課題はあるのでしょうか？

橋口　現在はAIからの通知も、異常報告も、対応報告もSlackを介す仕様になっているのですが、将来的にはBC上で全てが完結できるようにしたいとは考えています。とはいえ、Slackを介してのフィードバックと、その反映を即座に行うサイクルがシームレスに循環するようにはなっているので、良い体制は構築できているのかなと。

━━ ではBCは一旦の完成形に達したのでしょうか？

橋口　そうですね。機能面では現状で考え得ることは、ある程度網羅できたのかなと思います。あとは演出面で擬人キャラ化するとか、「AIのキモチ」の関西弁バージョンを作るとか、それくらいですね。個人的には、BCのリニューアルで学んだ知見を、次のプロジェクトへ展開していくことが次のステップになると考えています。

藤田　今後も必要に応じて機能改修などで手を入れることもあるとは思いますが、手動で実行していた処理の自動化や、AI編集する前提でのUIリニューアルなどによって、必要な機能追加・修正が一通り終わったということで、一旦の完成形に達したと言えると思います。