藤田：従来、機械学習モデルによるメディアの解析は主にサーバーサイドで動いていましたが、モバイル端末の進化により、クライアントのリソースが空いていればクライアントで推論処理を実行することが可能となっています。むしろ最近の新しいモバイル端末では、クライアントでの推論がメイン、 サーバーがサブで動くようになったということですね。iPhoneやAndroidデバイス自体の進化に合わせて、私たちも技術をアップデートしていった感じです。

橋口：機械学習モデルによるメディアの推論処理をクライアントに移す過程で、モデルの高精度化も実現したんです。その結果、誤検出が減り、これまで検出できなかった顔も検出することができ、「1秒動画」や「人物ごとのアルバム」の質が向上しています。

藤田：また、コストの削減によって当社のみてね事業部が次の施策を打ち出しやすくなり、間接的な意味でもユーザーに新たな価値を届けられると思っています。

橋口：まず取りかかったのが、解析パイプラインで推論する機械学習モデルのリプレイスです。モデルをGPUではなくCPUで実行できるものにし、サーバーサイドだけでリリースしてコストを減らしました。

橋口：普段使っているスマートフォンに、機械学習の推論に特化したチップが搭載され始めた時期でした。昨今のODML（On-Device Machine Learning）の情勢を踏まえた時に、「みてね」の全メディアが通る部分をクライアントで動かしたら解析コストをゼロにできるんじゃないかと考えたんです。2022年3月当時、「みてね」にアップロードされるメディアの数は月に2億件ほどで、年間でおよそ1億円のコストがかかっていました。

このアイデアをみてね事業部に伝え、着手することになりました。オンデバイスで動かすというのは初めてのチャレンジだったのでワクワクしつつ、ちゃんとやれるかなという不安も正直なところありましたね。

藤田：もともと関わっていた別のプロジェクトが落ち着いてきたタイミングで、橋口さんに「何か仕事はありませんか」と尋ねたところ、みてね事業部の話を教えてもらいました。最初は別のタスクに取り組んでいて、クライアントでの推論に向けた開発に着手したのは2023年終わり頃です。機械学習が専門ですので、おもしろいことができそうだと思いました。専門性が求められる仕事や、難しいことに挑戦するのは好きで、どうやって工夫していこうかとワクワクしましたね。

藤田：機械学習モデルの軽量化、高精度化にはある程度定石があるので、そこまで難しいことではないなと。大変だなと思ったのは、クライアントで推論するという部分でした。

藤田：クライアントに推論処理を実装する際、当初はNPU（ニューラルネットワーク処理装置）やGPUを使おうとしていました。「みてね」には世界中のデバイスから画像や動画がアップロードされ、portraitやlandscapeが混在しているのはもちろんですが、アスペクト比が3対4、16対9、1対1のもの、ユーザーがトリミングした画像や360度パノラマ画像など実にさまざま。それらをすべて推論する必要があるので、入力サイズを可変長としたモデルを作り、クライアントでNPUやGPUを使って推論しようとしたところ、フレームワーク側ではNPUやGPUが使えないとわかったんです。

つまり、機械学習モデルは一般的に入力サイズが固定長であるため、入力もそれに合わせる必要があります。しかし、今回私が開発したのは可変長入力を受け付けるモデルでした。この方式では、NPUやGPUなどの専用チップによる高速化が困難になります。当初、入力をパディングで固定長にする案もありましたが、メモリ消費量の増加や精度への懸念から、可変長入力モデルを採用しました。

藤田：いろいろ検討した末に、CPUでも要件は満たせそうだとわかったんです。クライアントで動画や画像をアップロードする裏で推論が動けば問題ないと。モデルの使いやすさやメンテナンスのしやすさを重視して、リリースすることにしました。

橋口：NPUやGPUを使うと、とても速く動くんですよね。結局、「速く動く」と「モデルの使いやすさ」はトレードオフなんです。使いにくいモデルにして高速に動く方を選ぶのか、それとも動作がやや遅れるものの使いやすいモデルにする方を選ぶのか。今回は、ユーザーの体験を損なうことなく価値を提供できるのは後者だと、二人で結論を出しました。

橋口：私たちは「いい仕事をしたね」って言って終わる予定だったんですが、CTOが「これ、特許を取れるんじゃない？」と声をかけてくれて。『確かに！』ということで、弊社の優秀な特許グループと共に特許の出願に至りました。それまではユーザーに価値を届けることに集中していたので、予想もしていなかった流れになりましたね。

橋口：「みてね」は、このプロジェクトが始まった2022年3月頃と比べても格段に成長しており、アップロードされるメディア数も増え続けています。クラウドの為替レートも上がり続けており、2024年は年間約2.3億円のコストがかかるはずでしたが、このプロジェクトによってまるまる削減できました。「みてね」が世界規模で展開する中、コスト削減は、ユーザーが増えれば増えるほど貢献できるので、すごくやりがいを感じます。

藤田：とくに「VALUES」の「誠実」という部分です。iOSのアプリ開発の場面で言うと、機械学習モデルの推論処理を入れたことでアップロードする時のユーザー体験が損なわれないようにと気を配りました。そして、二人が日頃感じている「MIXIらしさ」とは──。

橋口：今回の場合、ユーザーにいかに気づかれずに実現するかが重要でした。「アップロードに時間がかかるようになった」と思われたらダメなんです。ユーザーのリソースを借りて推論しながらも、これまでと変わらない体験を提供し続ける。それが「誠実」、さらには「ユーザーサプライズファースト」にもつながると思っています。

コストをゼロに近づけられたことや、MIXIで初めてオンデバイスで機械学習モデルを動かすことができた部分は、「発明」と言えるかもしれませんね。また、顕在化していないニーズを拾った上で、私たち横串の組織からみてね事業部に提案し、彼らを少し巻き込みながらやり遂げられたのは「夢中」になれたということかなとも感じています。

橋口：MIXIには「いつまでに作ってください」と納期を先に打ち出すよりも「いいものを作り、できたタイミングで出す」という文化がありますね。今回も私たちが納得し、満足するところまでやり通すことができたなと。私たちはどのプロジェクトにおいてもふわっと始まりがちなんですが、最終的にしっかりとした成果物を残すという点はどの企業にも負けないと思っています。役割などを細かく決めすぎないからこそ、それが実現できるのかもしれません。

藤田：そうですね。とくに開発本部はそういう色合いが濃いかなと。私が思うMIXIらしさは、ユーザーに対して誠実になるということだと思います。「みてね」に関しても、社内の人たちがユーザー体験をかなり意識して作り込んでいく姿をいろいろな場面で見かけるんです。

藤田：機械学習などに関して蓄積してきたノウハウを他部署にも積極的に共有し、会社全体に貢献していけたらと考えています。今回、ODMLを実現するために、MediaPipeというフレームワークの使用を一時期検討していたことがありました。機械学習を動かすデモが簡単に作れるので、今、「みてね」やサロンスタッフ直接予約アプリ「minimo」の事業部に展開しているところです。それと同時に、モバイル端末で機械学習モデルを動かせるということも伝えていきたいですね。

橋口：「みてね」ではいろいろな機械学習モデルが動いていて、今回は全メディアが通り、一番処理が重くコストのかかっているモデルに手を付けました。今後は、サーバーサイドのみで動いている他のモデルも順次、クライアントで動かせるように、特許を活用する形で実装していけたらと思っています。そういった取り組みで削減できたコストを活かし、「みてね」の新たな価値をつくることにも力を注いでいきたいです。

また、最近では生成AIが流行っています。今回のプロジェクトでの経験を活かしながら、ゆくゆくはひっぱりハンティングRPG「モンスターストライク」など当社のゲーム事業で、ゲームのステージ生成（制作の効率化）やキャラクター制作のデザイン効率化にもチャレンジしていけたらいいなと思っています。