低コストで高品質って両立できるの? 『TIPSTAR』の“映像伝送システム”の仕組みとは~TIPSTARの開発の裏側 #1~

低コストで高品質って両立できるの? 『TIPSTAR』の“映像伝送システム”の仕組みとは~TIPSTARの開発の裏側 #1~

ミクシィでは2020年6月末に、新感覚スポーツベッティングサービス『TIPSTAR(ティップスター)』をリリースしました。『TIPSTAR』は365日配信されるライブ動画と、現在は競輪(KEIRIN)を友達と一緒に楽しむことができるサービスです。

このサービスの根幹を支えているのは、映像伝送技術。競輪場で撮影されたレースの映像を、データセンターと映像編集チームに伝送し、遅延を最小限に抑えてユーザーに配信していく技術が導入されています。今回は『TIPSTAR』のネットワークエンジニアである吉野と佐藤にインタビューを行ない、たくさんのユーザーに楽しんでもらうためにどんな映像伝送技術が使われているのかについて語ってもらいました。

 ※『TIPSTAR』のサービスシステムについて、複数回にわたりシリーズでお伝えしていきます。

 

こだわりは、低コストで質のいい映像を届けるための機器選定

━━━━早速ですが、『TIPSTAR』の映像伝送の仕組みを教えてください。

吉野 まず全国39箇所の競輪場に設置した映像伝送システムから、撮影された映像がデータセンターに集まります。その後はデータセンターで映像を加工し、それをスタジオやユーザー配信向けに配信しています。

佐藤 同日開催のレースは最大で日本全国10会場ほどありますので、データセンター側でも同時10レースの映像が受けられるものを用意しています。9時~17時、15時~21時、20時半~23時半というレースの開催スケジュールに合わせて、どの機材にどの映像を送るのかというのを管理ツールで設定しています。1号機には平塚の昼のレースを送って…というような感じで。

吉野 低コストで質のいい映像を届けられているのが『TIPSTAR』の強みです。高品質な映像を届けるには、専用線を引いて送るなど色々な方法がありますが莫大なコストがかかるケースもあります。『TIPSTAR』で使われている競輪場からの映像伝送は、ベストエフォート回線とLTE回線を利用してデータセンターまで送信しています。さらに特徴的なのはデータセンター内やスタジオまでの映像伝送方法です。

━━━━具体的にはどのような技術が使われているんですか?

吉野 特徴的なのは、SMPTE2022-6の規格の機材を導入していることにあります。映像をIP通信の上に載せる規格で、SDI信号をIPに載せることができます。具体的には、RIEDEL CommunicationsのMuoN(元embrionix社のemsfp)を利用しています。

佐藤 データセンターとスタジオの間は1.5Gbpsで映像を届けているのですが、MuoNはSDI信号をIPに変えて送るための変換ツールです。ネットワークスイッチに、これと映像のケーブルを直接差し込むと、IPに変換してデータとして届けることができます。

単純に映像を送るだけのアプライアンス装置はよく使っていましたが、最終的にMouNを導入したのは、既存のネットワーク機器を有効活用できるからです。例えば『モンスターストライク』で使用しているネットワーク機器を借りて、そこに映像ケーブルを刺せばいいだけなので、費用対効果が非常に高かったんです。

━━━━MouNは一般的ではない機器なんですか?

佐藤 他企業のエンジニアに同機器を使っていることを話したら、「あれを使うの!?」ってびっくりされたこともあります。

吉野 既存のネットワーク機器を有効活用できるだけでなく、コスト面のメリットもありましたよね。

佐藤 そうですね。もともとこういうことができる他の機器を買おうとしていたのですが、見積もりを比べると5~6倍くらいのコストが掛かることが分かりました。

━━━━なるほど。MouNを選択することで、だいぶコストカットにつながったんですね。遅延についてはどうなんでしょうか?

佐藤 今回の機器は、映像を非圧縮で伝送するので、圧縮等の時間がないため、遅延はとても小さいです。ただし、映像一本が1.5Gbpsほどで20本くらいが通っているので、太い回線での接続が必要になります。

吉野 ダークファイバーという柔軟に使える光ファイバの中にCWDMという技術で通信する光を通して、対応しています。最終的にユーザに届ける映像は、データセンターで映像を加工して、その後AWSに上げてスマホへ配信していますが、そこに多くの時間が掛かっています。

 

全国の競輪場にシステムを設置

━━━━映像伝送システム構築にあたって、大切にしてきたことはありますか?

吉野 2019年夏から設計を開始し、初動のコンセプトでは「最速でサービス検証に供すること」を据えていました。そのため、伝送にLTE回線を使い、圧縮率の高いエンコーダを購入。「いつリリースがきても良いように1系統はつなげる。冗長、スケールは後からできるようにする」という考えで実装しました。その後、光回線等の設置が進むとそちらを利用するようになりました。

また、スケールを上げる時は、さまざまな編集機材をデータセンターに集めて、スタジオには最小限の設備で運用できるようにして、スマートな体制を目指しました。

佐藤 10月になると本格的なデプロイがスタートし、全国にある競輪場にシステムを設置しはじめました。私たちが求めているのは、テロップも何も乗っていない“素の映像”。これを実現するために事業部内外の様々な人と、素の映像を提供してほしいという交渉を行い、全国の競輪場で構築をやらせていただきました。各競輪場で構成が異なるので調整が大変な部分もありましたね。

吉野 現地にキッティングしに行くのはそれほど難易度は高くないのですが、自社のシステムを置いていただく立場にあるので、競輪場の担当の方としっかりコミュニケーションを取って、信頼関係を築いていくことも重要なポイントの一つでした。それが一番大変だったかもしれないですね。データセンターはデータセンターで最近大変ではありましたが…。

━━━━どんなことがあったんですか?

佐藤 9時半から23時半でレースが開催されるので、『TIPSTAR』のメンテナンスはその時間以外で対応しなければいけなかった。それだけでなく、割とテストを本番さながらでやっていたので、本番用の冗長構成の構築にも時間が掛かっていました。サービスリリースの6月は最後の追い込みとして毎日対応していましたね。

━━━━今後はどのようなチャレンジに取り組む予定でしょうか。

吉野 今回は紹介できなかったAIでの自動編集における領域の拡張や映像編集技術の強化をしたいと考えています。また現在実施中のSMPTE2110のライブ編集機材の開発も成果をだしたいです。

吉野純平
2008年にミクシィへ新卒入社。SNSのインフラ、アプリ運用を担当した。『モンスターストライク』のインフラネットワーク全般の業務に加え、幅広い新規事業のインフラ支援にも携わる。現在は開発本部インフラ室室長を務める。

佐藤太一
2003年に国産CDNの会社に入社後、インフラおよびセールスエンジニアとして16年半従事。2019年10月にミクシィに入社後は主にTIPSTARの映像伝送、映像配信に携わるインフラエンジニアとして活動中。インターネットコミュニティでの活動も積極的に行っており、JANOG38 Meeting in Okinawaでは実行委員長を務めた他、InternetWeek等を始めとした外部での講演も数多く行っている。

 

PAGE TOP