/home/by-natures/dev*

データ界隈で働くエンジニアとしての技術的なメモと、たまに普通の日記。

2022/02/01 読んだ記事まとめ(Lambda with SQS, Cloud Logging in Google Cloud, OpenAssistant)

気分転換にヘッダを変えてみました。Iittala社のキャンドルホルダーが大好きで、(まだ一応)趣味のカメラと組み合わせてキャンドルを撮影したりしているので、その画像を拝借。冬場にはもちろん、友人が家に来たときなんかに使うと、少しムードが出て良い感じです。


技術記事を読む習慣をつけるために InfoQ の記事を中心に、目に留まったものを紹介します。データエンジニアリング系が中心になると思います。

全然関係ないんですが、DDDの和訳&要約書が InfoQ で無料で読めます。流石にかなり分量が少ないですが、復習によいかもしれません。前職ではこれとユースケース駆動開発についてなど、ソフトウェア開発やデータ関連技術について輪読会が盛んで、今思い返すとエンジニアにとってはとても良い環境でした。新卒入社の方が多かったので、同期同士で学ぶ流れから勉強会が盛んだったのかもしれません。

www.infoq.com

AWS Lambda で SQS をイベントソースにした場合の最大並列数が指定可能に

www.infoq.com

今までは SQS にキューが積まれると Lambda が自動スケールしてしまったようなのですが、最大並列数が指定出来るようになったようです。アカウント x リージョンごとに Lambda の最大並列数(concurrency quota)が設定されていますが、デフォルトは1000のようです:

Lambda quotas - AWS Lambda

今回の機能追加で、この Lambda の最大並列数を特定の Lambda だけが食いつぶさないように出来そうです。

Google Cloud のログ分析機能が正式版へ

www.infoq.com

Azure の Log Analytics, AWS の CloudWatch Insights に似たサービスとのこと。

CloudWatch Insights は Apache のアクセスログ解析に利用したことがありますが、文法がやや特徴的で慣れるのに少し時間が必要だったものの、大量のログから該当条件の日付ごとのログ件数をすぐに可視化してくれて、非常に便利でした。標準的なアクセスログ形式であれば、正規表現などを書かずとも解析してくれるのが助かりました。

OpenAssistant (オープンソース版ChatGPT)

www.infoq.com

ChatGPT のオープンソース版(OpenAssistant)が非営利団体 LAION からリリースされたとのこと。

LAION = the Large-scale Artificial Intelligence Open Network、MLに関する研究開発を行う非営利団体のようです。ただ学習済みモデルは提供しておらず、データと学習コストは別途必要とのこと:

Although these open-source projects include implementations of ChatGPT's training methods, they do not have any trained models currently available. Wang's project FAQ suggests that training might require "millions of dollars of compute + data" to complete.

(後で読む)QCon: Resilient Real-Time Data Streaming across the Edge and Hybrid Cloud

www.infoq.com

バーチャルカンファレンス、QCon Plus に出ていたエントリーで、Confluent社のKai Waehner氏が発表しています。

Confluent 社ということからも分かりますが、記事内の "Kafka" の単語数が非常に多く、ハイブリッドクラウドでの Kafka を利用したストリーミングアーキテクチャの説明のようです。かなり長い記事ですが、発表動画も併せて見てみようと思います。