/home/by-natures/dev*

ソフトウェア開発者としての技術的なメモと、たまに普通の日記。

2022/02/01 読んだ記事まとめ(Lambda with SQS, Cloud Logging in Google Cloud, OpenAssistant)

気分転換にヘッダを変えてみました。Iittala社のキャンドルホルダーが大好きで、(まだ一応)趣味のカメラと組み合わせてキャンドルを撮影したりしているので、その画像を拝借。冬場にはもちろん、友人が家に来たときなんかに使うと、少しムードが出て良い感…

2023/01/27 Google Cloud Professional Data Engineer に合格しました

去年末のことなのですが、Google Cloud の Professional Data Engineer の資格に合格しました。これで2022年にSlalomに入社してから、Databricks Associate Data Engineer, Snowflake ProCore, Google Cloud Professional Data Engineer の3つのデータエンジ…

Snowflake のクエリ内変数と、executemany のテーブル指定に identifier が使えない話

Snowflake を Python から利用していて、クエリ文字列に変数をバインドする方法がややこしかったので共有します。クエリ内でプログラムから変数を渡す %s, :1, ? などですね: Using the Python Connector — Snowflake Documentation con.cursor().execute( "…

2022/11/26 SnowPro Core を取得しました

今の会社 Slalom に転職してそろそろ半年経ちます。Slalom はシアトルに本社を構えるコンサルティングファームで、テック系コンサルと言えばいいんでしょうか。この業界に入ってまだ日が浅いのですが、社内で学ぶことも多く、同僚も知見が深く面白い方ばかり…

2022/09/24 Data Vault 2.0 輪読会に参加しました

今年の春〜初夏にかけて Data Vault 2.0 についての輪読会に参加しました。途中は退職・転職などでバタバタしていて参加できなかったのですが、Data Vault の概念を理解でき、dbt などの ETL ツールについての話題も多く、とても勉強になりました。色々と感…

2022/05/07 空白期間 振り返り

先月4月末に某ウェブ系企業での最終出社を迎えました。 丸7年務めることとなり、最初3年半は研究部署でビッグデータ基盤の開発とその上で動くBIツールの開発、後ろ3年半はいろいろなサービス部署の方とやりとりをしながら、データ連携を支援する部署にいまし…

2022/02/23 輪読会を始めました: "Star Schema - The Complete Reference"

datatech-jp で Star Schema The Complete Reference という書籍の輪読会を始めました。 Star Schema The Complete Reference 私は横断組織にいて、サービス事業部の方たちの支援をするのが仕事なのですが、そのためにデータオーナーになったりすることがほ…

2022/01/21 レイクハウスアーキテクチャについて

最近よく Snowflake, Databricks 社のサービスを目にするようになり、私の所属している会社でも(部署は違いますが)Snowflake の導入を行っているようです。その中で "Data Lakehouse" という単語を目にしたので、どういう概念なのかを調べました。 実際に…

2021/12/08 データモデリングの文脈変化

DMBOK で一番読むのを楽しみにしていたのがデータモデルの章だったのですが、いざ読んでみると細かすぎるというか、求めていたものと違う感覚がありました。私がドメイン駆動設計から生成されるモデルの実用性に興味をもっていた時期なので、実践的な内容を…

2021/12/03 DMBOKを横断組織で活用した話 #datatech-jp #AdventCalendar2021 #day3

datatech-jp Advent Calendar 2021 3日目への投稿です。 今年は datatech-jp のコミュニティの方達と話をしたり、輪読会に参加させていただくことができました。datatech-jp 自体の説明は1日目の投稿からご覧いただけます。Slack チャネルもあり、気軽にいろ…

2021/11/02 ビジネス用語集の整備を始めました

データマネジメントの推進という立場から社内でいろんな方と話をするのですが、データマネジメントの様々な領域の中で自信を持ってアドバイスできるもの、できないものがありました。その中の一つに DMBOK に繰り返し登場する「ビジネス用語集」がありました…

2021/07/27 Data Governance: The Definitive Guide の輪読会に参加しました

Twitter でのお誘いをみて、データガバナンスに関する以下の書籍の輪読会に参加させていただきました: Data Governance: The Definitive Guide: People, Processes, and Tools to Operationalize Data Trustworthiness (English Edition)作者:Eryurek, Evre…

2021/06/04 ビジネス用語集とは何か

以前こんなツイートをしたら反応をいただきました。やはり「ビジネス用語集は大事」というのは色々な場所で説明されているようですが、具体的にどういうものなのか?と言われると私はまだよく分かりません。 ビジネス用語集が大事、とはよく聞くけどちゃんと…

2021/04/23 ハーバードビジネスレビュー: 「データ管理は戦略である」を読んで

輪読会への参加 "Data Governance: The Definitive Guide" 本日からデータガバナンスに関する書籍の輪読に参加させています: www.oreilly.com 社外の方とデータマネジメントについて議論できるのはとても貴重な機会でありがたいです。普段業務で悩んでいる…

2021/04/22 文字の発明とデータマネジメント

データマネジメントについて色々と勉強したり業務をしていく中で、『「データマネジメント」と名前は付いているけれど、とても普通のことをしているのでは』という感覚がでてきました。もちろん技術的な話はあるのですが、ガバナンスが大切だとか、用語集を…

2021/03/12 データマネジメント成熟度のフレームワークに何を使えばよいか

データマネジメントについて色々考えている時期で、今日は成熟度について。 様々なフレームワーク とあるプロジェクトでデータマネジメント成熟度を測ろう、となったのですが、成熟度を測るフレームワークにも色々あるようです。 www.cloudtimes.jp こちらの…

2021/03/05 データマネジメントは成熟度から進める

雑談:テレビについて 最近 NHK の ねほりんぱほりん がかなり気に入ってます。見ないようにしてきた世界(最近の放送だと戸籍がない人、闇金の取り立て人、DVをしていた人)のドキュメンタリーをあんなふんわりしたテイストで提供するなんて驚きです。。番…

2021/02/19 データマネジメント改善の難しさ

最近、業務ではデータマネジメントの改善に取り組んでいます。 「データマネジメント」と一言にいっても、国際的な非営利団体 DAMA は DMBOK という、データマネジメント体系ガイドをまとめています。DMBOK が制定する領域では、以下の11の領域がデータマネ…

2021/02/03 「内向型を強みにする」を読んで

ブログがすっかりご無沙汰になってしまいました。今見たら2019年の6月に書いたのが最後でしたね。 2019年、夏頃にチーム内の上長が退職してしまって、その代わりを務めることになってマネージャーとしてタスク管理や目標設定・面談なども行うようになりまし…

2019/06/24 PlantUML によるロバストネス図

ユースケース駆動開発の手法を実践しているのですが、ロバストネス図・シーケンス図・ドメインモデルと、とにかく「図」を作ることが多いです。これを簡易にしないと作業効率がとても悪いということで、調べたところ PlantUML というツールがありました。 同…

2019/06/19 Elastic Beanstalk の ALB の scaling trigger では RequestCount がうまく機能しない

Elastic Beanstalk では ALB を簡単に定義することができます。今構築しているアプリケーションでは、リクエストがシンプルかつ大量であるため、リクエスト数に応じてスケーリングさせようと思い、スケーリングトリガーのメトリクスで RequestCount を設定し…

2019/06/18 AWS ELB 配下の tomcat が X-Forwarded-For を取得できない? -> 解決しました

ロードバランサー配下のWebサーバは、ロードバランサーがもともとのクライアントのリクエスト情報を保持するために X-Forwarded- というHTTPヘッダを追加します。このリクエスト元の情報を保存するヘッダはただのデファクトスタンダードでしたが、今は RFC …

2019/06/12 Hive CLI のアーキテクチャ

hive CLI コマンドは非推奨で、今後は beeline 推奨(JDBC/Thrift で HiveServer2 へ接続)とのことですが、どうにも HiveServer2 は運用していて良い思い出がないので(私が利用している環境だと定期的に再起動しないと応答がなくなる。。)、最近あまり状…

2019/05/07

curl コマンドだけでレスポンスタイムの計測を色々行えるの知りませんでした。意外に多機能。 dev.to www.wagavulin.jp

2019/04/09 Java でのメモリチューニング

メモリチューニングを久々に。前回は OOM でアプリケーションが落ちる問題に対して調査したのですが、今回はマイナーGCが多発していました。 簡単な処理を大量にさばくアプリケーションなので基本的には Eden からすぐにメモリ解放されるオブジェクトばかり…

2019/04/05 ITP 2.1 対応, ElasticBeanstalk での tomcat 設定値書き換え

4月からオフィスが新しくなって、また一緒に働いていた人が退職したこともあり、労働環境が大きく変わりました。やることは増えましたが、やれることも増えそうなので案外楽しめています。開発リソースが足らず、一緒に働く方を増やしたいので色々と整備して…

2019/04/01 CORS

他サーバからアクセスしてもらうエンドポイントを追加したのですが、その際に CORS が必要だったので設定した際の記録です。 説明 medium.com dev.classmethod.jp Tomcat での対策 Tomcat なら web.xml のフィルタ機能で CORS 対策ができます。7系の途中から…

2019/03/28 Tomcat リリース備忘録

古いシステムのメンテナンスをする場面があり、Tomcat へ WAR ファイルをデプロイすることになりました。概念はなんとなく理解していたのですが Tomcat への実作業は初めてだったのでメモ。小さいシステムだったのでよかったですが、大きなシステムでドキュ…

2019/03/25 Avro と Protocol Buffers

オフィスが4月から移転するので、今週はバタバタしそうです。移転先では多くの部署が集約されるのですが、そのせいで人が多く、エレベータが長蛇の列・・・という噂もちらほら。駅からも遠いし少し憂鬱ですが、ランチする場所は増えそうなのでお昼は楽しみで…

2019/03/20 Glue の SparkSQL が直接 DataCatalog にアクセスできるようになりました

先日のアナウンスで、Glue Job から DataCatalog に直接アクセスできるようになりました。 「AWS Glue によって Apache Spark SQL クエリの実行が可能に」というリリースタイトルがやや誤解を招きそうですが、Spark SQL はもともと利用できたのですが、今ま…