/home/by-natures/dev*

データ界隈で働くエンジニアとしての技術的なメモと、たまに普通の日記。

2023/02/04 読んだ記事まとめ(Kafkaユースケース, 音声合成など)

友人が ChatGPT で論文記事を要約して読んでいると聞き、質問をしたりするだけでなくそういった使い方も出来るのかと驚きました。今日は Confluent 社からの長めの記事を読みたかったので ChatGPT も使いながら読みましたが、非常に便利ですね…。記事本文を読み直すにしても、要約から読み直すと頭に入って来やすいです。要約+日本語訳も試してみたんですが、さすがにかなり時間がかかっていて要約精度も少し落ちる印象ですが、それでも概要把握には十分でした。

今調べたら ChatGPT は有料版が発表されていて、月20ドルなら個人でも全然使い続けられるなと感じました。学習が進みすぎた結果パラダイムシフトが起きたと言っている方も Twitter で見かけました。一般でも簡単に機械学習・AIの技術が使えるようになって来ていて、世の中の変化スピードがさらに早くなっている感覚があります。

www.itmedia.co.jp

今回はML系の記事が多かったですが、次はデータマネジメント系の記事をいくつか読む予定です。

QCon: Resilient Real-Time Data Streaming across the Edge and Hybrid Cloud

www.infoq.com

バーチャルカンファレンス QCon Plus に出ていたエントリーで、Confluent社のKai Waehner氏が発表しています。さまざまな業界における Kafka を利用したリアルタイムデータストリームの事例を交えながら、Kafka が耐障害性を高めたり、 RPO (Recovery Point Objective) や RTO (Recovery Time Objective) の改善に役立つことを紹介しています。

例えば記事内では Disney World でのモバイルアプリで AWS の障害によって起こった問題が紹介され、障害耐性を高める重要性が説明されています(Kafka を使って回避した・・・ということではなさそうですが):

japan.cnet.com

他にも船やドローンなどの端末からのデータ連携の方法についても紹介があります。船やドローン、他にも風力発電機などは常にデータ送信できる環境にあるとは限らず、1週間や1ヶ月など長時間に渡って接続ができなくなる状況に陥ることがあります。こうした組み込み機器に Kafka をインストールすることで、接続が回復したタイミングでデータを送ることができます。端末内のデータ容量には限りがあるため、長期間接続不能が続いた場合に端末内でデータの優先順位づけをしたり、事前集計してデータ量を減らすなどの工夫も取ることができます。

マルチリージョンに配置することで、銀行や金融サービスのための耐障害性を保つことも出来ると説明があります。他にも自動車メーカーのBMW、石油産業、小売業、さまざまな業界を紹介しながら、どのようなリアルタイムデータ基盤を構築しているかがそれぞれ紹介されていました。

新しい機能として制限はあるもののトランザクションにも対応し始めているということで、この記事も近々読んでみようと思います:

www.confluent.io

Microsoft Unveils VALL-E, a Game-Changing TTS Language Model

www.infoq.com

Microsoft 社が、音声合成に関する新しいモデル VALL-E を発表しました。

この分野は完全に門外漢なのですが、以下の論文ページではたくさんの音声事例を聞くことができます。3秒ほどの音声サンプルだけでその人の声を模してテキストを読み上げることが出来るようです。このテキスト読み上げ機能(text-to-speech synthesis, TTS)で有名なアルゴリズム LibriSpeech や VCTK との比較も載っていますが、LibriSpeech は機械音声の淡々とぶつ切りに話す感じが残っていますが、VALL-E は抑揚がしっかりしていて、より自然に聞こえました。

https://valle-demo.github.io/

Doordash Introduces ML to Understand the Marketplaces Status

www.infoq.com

こちらは DoorDash 社の機械学習モデルの紹介記事です。DoorDash は Wolt を買収していて、日本では Wolt でブランド統一しているようです。

DoorDash を使ったことがないので分からないのですが、おそらく UberEats のようなサービスでしょうか。この機械学習モデルでは店舗の営業状況を、過去の配達状況やダッシャー(DoorDashの配達員)からの画像解析などをもとに予測します。もし店舗がすでに閉店している場合、ダッシャーは時間をロスしたということで返金制度があるようで、DoorDash社としても注文を受けたが店舗が閉まっていたという状況を減らしたいようです。

システム連携を通じて確定的に店舗の営業状況を把握するのではなく機械学習のモデルで予測するというのが面白いです。リアルタイムでモデル更新されるかは読み取れませんでしたが、祝日や年末などイレギュラーな営業時間になりやすい場合でも、あるダッシャーから店舗が閉まっていた連絡を受けて自動的にユーザや他のダッシャーへの予測結果に反映されたりすると、配達ロスを最小限に止めることができそうだなと感じました。