/home/by-natures/dev*

ソフトウェア開発者としての技術的なメモと、たまに普通の日記。

2019/02/19 コンウェイの法則

AWS

2月頭に箱根に行って、「ガラスの森美術館」に行こうとしたら閉館しており、隣に建っている「星の王子さまミュージアム」に行きました。そこで買ってきた星の王子様を週末読み終えたのですが、意外なバッドエンド?に驚きました。王子様が自殺する経緯につい…

2019/02/15 Glue Job の同時実行数について

Glue Job から Spark ジョブを呼ぶことで、大規模データに対する ETL 処理をしたいなと思っているのですが、Glue Job に同時実行数の制限があることに気がつきました: docs.aws.amazon.com Glue Job にはテンプレート部分を記述して、実際に動かす SparkSQL…

2019/02/12 CloudFormation

先週末、都内でキャンプをしまして、インドアな自分としてはとてもアクティブな体験でした。たき火を見ながらぼーっと話をするのもよいものです。翌朝起きたら、キャンプ場一体が雪で真っ白だったことにも驚きました。新鮮な体験でした。 AWS での運用につい…

2019/02/06 DynamicFrame の出力スキーマを parquet-tools で確認

AWS Glue で書いた Parquet ファイルが Glue のデータカタログのスキーマと異なることが度々発生しているので、直接 Parquet ファイルのスキーマを確認できないか調べたところ、parquet-tools コマンドで確認できることがわかりました。 github.com mvn inst…

2019/02/05 AWS サービスにインストールされている boto3 のバージョン

AWS CodeCommit を利用して、Glue Job から CodeCommit からファイルを取得して集計処理をしたいなと思ったのですが、 get_file というメソッドが存在しないとエラーが起きてしまいました。 boto3.amazonaws.com GitHub の boto3 リポジトリを見ると get_fil…

2019/02/01 Parquet ファイルと Glue DataCatalog のスキーマ差異の問題など

AWS Glue と戯れる日々なのですが、SparkSQL の扱い方がわかったところでまたいくつか問題が。 Parquet とテーブルスキーマのフォーマット差異 S3 に書き出したファイルを Glue の DataCatalog を経由して Athena や Redshift から読み込もうとすると、Athen…

2019/01/22-23 AWS Glue Crawler が struct をカラムに持つテーブルに使いづらい

AWS

AWS Glue を色々と触っているのですが、どうにも正しい使い方がよく分からなくなってきました。 Glue Job で Parquet フォーマットで書き出して Athena から読み込みたいのですが、パーティションによってキー数が大きく異なる JSON 形式のカラムがあるため…

2019/01/15 Glue における SQL 中心アーキテクチャ ETL、他

昨日居酒屋で飲んでいたら(かぶら屋 美味しいです、おすすめ)、隣の席の人が UberEATS の使いすぎで他の方から怒られていました。僕の友人でも UberEATS や LINE デリマを良く使う人はいるので、別にいいんじゃないかなと思ったら、どうやら人はタクシーや…

2019/01/11

ご挨拶が遅れました、あけましておめでとうございます。 年の始まりはいつも不思議な出来事があって、今年はこういう感じなのか、と思うことがあります。今年は変わったことがちらほら周りで起きていて、変化の年になるのかもしれません。よい方向に変化する…

2019/01/11

ご挨拶が遅れました、あけましておめでとうございます。 年の始まりはいつも不思議な出来事があって、今年はこういう感じなのか、と思うことがあります。今年は変わったことがちらほら周りで起きていて、変化の年になるのかもしれません。よい方向に変化する…

2018/12/14 AWS Glue と Lambda Architecture

クリスマスの雰囲気が好きなのですがいかんせん寒くなってきて、出かけるのが億劫になってきました。インフルエンザも流行りだしたようなので、そろそろマスクをしなければいけない季節でしょうか。 今日は分散処理周りで調べ物をしていたので、読んだ記事を…

2018/12/13 (公式ブログより)AWS Kinesis を利用したリアルタイム+バッチ集計

Amazon Kinesis および Amazon Athena を使用して VPC ネットワークのトラフィックを分析および視覚化する AWS の公式ブログにて、以下の Kinesis と Athena を利用した分析基盤の例が紹介されていました: aws.amazon.com Athena のところは本質的ではない…

2018/12/11

Big Data Analytics Architectural Patterns and Best Practices re:Invent でのこの資料が、包括的で分かりやすかったのでメモ。(先日見かけて、今日見直そうとしたら見つけるのに時間がかかったので。。)データの温度などの概念も交えながら綺麗に図にま…

2018/12/07 Netflix のデータ分析基盤事例

来週土曜日、12月15日に JJUG CCC 2018 Fall が開催されます。 JJUG CCCは毎年2回、春と秋に開催する日本最大のJavaコミュニティイベントです。Java関連の技術や事例に関する良質なセッションが行われ、また異なる分野で活躍するJava技術者が一堂に会する場…

2018/12/04 Hive のマテリアライズドビュー

2019年の手帳を買い、12月から使おうと予定を書き込んで数日使っていたところ、2018年ではなく2019年の12月にずっと書き込んでいることに気づきました。無印の手帳なのですがウィークリーに「年」が付いていないので気づきませんでした。。買い換えるのもも…

2018/12/02 DAMA-DMBOK2

いよいよ12月ですね、個人的にはイベントが多くて楽しみな月です。 読み中: DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition) 先輩に紹介されて、以下の本を読んでいます: www.safaribooksonline.com データマネジメントについて体系的に説明…

2018/11/30

いよいよ12月ですね。街中のクリスマスムードも一気に加速するんでしょうか。イルミネーション見るのも寒いのも好きなので、一年で一番楽しみな季節です。 勉強会・忘年会の予定がすでにいくつか入っているので、師走の文字通り忙しくなりそうです。ひとまず…

2018/11/27 Maven, Spring のプロファイル設定

渋谷でお気に入りの居酒屋ランチがあって、今日同僚を連れて行ったのですが、食べログで非常に点数が高いお店だったようです。ランチはぶらぶら歩きながら決めることが多いので、評価はおろか店の名前すら知らなかったです(今も忘れました。。)。焼き魚も…

2018/11/26 Hadoop ResourceManager HA 構成の設定(メモ)

Hadoop 系のプロダクトはパラメータが多く、業務で私が設定することは少ないので、何かの調査のたびにいつも調べたり眺めたりしているだけなのですが、、忘れがちなので文章にしてみます。 Hadoop 本家はこちら: Hadoop – Apache Hadoop 2.8.5 そして特に Y…

2018/11/21 LINE DEVELOPER DAY 2018

先日、LINE DEVELOPER DAY 2018 に参加してきました。 linedevday.linecorp.com engineering.linecorp.com 資料は後日公開されるようですので詳しくはそちらをご覧ください。 公開されていました、SlideShare から閲覧できます: www.slideshare.net 数日時…

2018/11/20 Amazon Corretto

そろそろ年末が近づいてきました。異動もあって歓送迎会があることもあり、11月末〜12月に掛けてお酒を飲む機会が増えそうです。ちなみに・・・お酒でいうと最近のお気に入りはこのクラフトジンです: https://www.amazon.co.jp/%E3%83%8B%E3%83%83%E3%82%AB…

2018/11/19 Oracle Code One 2018 報告会 ボランティアしてきました

先週末より部署異動がありまして、新しい部署での勤務が始まりました。家からちょっと遠くなったのと、乗り換えがどうも上手くいかないルートばかりで最適ルートが見つかっていないので、しばらく試行錯誤しながら通勤します。 先日土曜日、こちらのイベント…

2018/11/14 正規表現でグループ化した文字列の取得

中国人の友達と日本語・中国語を教え合っているのですが、中国人にとっては中国語に近い熟語のほうが使いやすいようです。「それ錯誤です」と言われて気づきました。「間違う」は日本語としての変化があるので面倒だけれど、「錯誤」のような熟語なら音読み…

2018/11/08 SlackAPI, 三項演算子, goto文

飾り棚を少しずつ冬っぽくしようと、昨日夜飾り付けをしていました。マリボウルはクリアしか持っていないのですが、火をつけると雰囲気が華やかで良いですね。サルパネヴァプレートに写る様子もとてもきらびやか。 Slack の API を呼ぶ Slack の API を通じ…

2018/11/06[2] オブジェクト初期化の引数が多くなってきた時の対処法

オブジェクトのフィールドが増えると初期化する時の手間も増えてきてしまい、Java ならビルダパターンなどで必須パラメータと任意パラメータをうまく分けられたのですが、Go言語ではどうしているのか検索しました: stackoverflow.com ベストアンサーではな…

2018/11/06 日付処理

週末に TOEIC の S&W(Speaking and Writing)を受けてきました。2回目か3回目なのですが数年ぶりだったのと、対策する時間があまりなかったのでスピーキングがしどろもどろに。L&R は日々の勉強でよい点数が取れたのですが、スピーキングはやはり試験対策し…

2018/11/01 クロスコンパイルとリリース

ハロウィンについてフィリピン人の英会話の先生と話をしていたら、フィリピンは世界でもっともクリスマスを長く祝う国?らしく、9月1日からクリスマスのデコレーションをするのだとか。ハロウィンもハロウィンで仮装して騒いで楽しむらしく、10月末はハロウ…

2018/10/31 ステージング・本番など実行環境によって変数設定する

昨日最寄駅で、地図の前で荷物を持ってうずくまっている、来日したばかりと見える外国人家族がいたので道案内をしました。そこの位置からだとホテルまでいくのが難しく、歩くと40分以上かかるし、ホテルの最寄り駅もそこからはうまくアクセスできないので、4…

2018/10/29 異なる型のスライスの結合

先日、上野アメ横のセンタービル 地下食品街に行って仙草ゼリーを買ったのですが、店員さんが中国人だったので「你好」と言うと、「你好」を返してくれました。そのあとお会計の数字も聞き取れたし(920, 九十二)、一見無愛想なおじさんでしたが、最後に「…

2018/10/26 Go 言語での REST API クライアント

一昨年、渋谷のセンター街にハロウィン見学に行ったのですが、それはもう大変なお祭り騒ぎでした。今週末がハロウィンのピークかもしれませんね。 我が家もなんとなくハロウィン気分を味わいたかったので、鏡にハロウィンのステッカーを貼ってみました。ちょ…