/home/by-natures/dev*

ソフトウェア開発者としての技術的なメモと、たまに普通の日記。

2019/01/22-23 AWS Glue Crawler が struct をカラムに持つテーブルに使いづらい

AWS

AWS Glue を色々と触っているのですが、どうにも正しい使い方がよく分からなくなってきました。 Glue Job で Parquet フォーマットで書き出して Athena から読み込みたいのですが、パーティションによってキー数が大きく異なる JSON 形式のカラムがあるため…

2019/01/15 Glue における SQL 中心アーキテクチャ ETL、他

昨日居酒屋で飲んでいたら(かぶら屋 美味しいです、おすすめ)、隣の席の人が UberEATS の使いすぎで他の方から怒られていました。僕の友人でも UberEATS や LINE デリマを良く使う人はいるので、別にいいんじゃないかなと思ったら、どうやら人はタクシーや…

2019/01/11

ご挨拶が遅れました、あけましておめでとうございます。 年の始まりはいつも不思議な出来事があって、今年はこういう感じなのか、と思うことがあります。今年は変わったことがちらほら周りで起きていて、変化の年になるのかもしれません。よい方向に変化する…

2019/01/11

ご挨拶が遅れました、あけましておめでとうございます。 年の始まりはいつも不思議な出来事があって、今年はこういう感じなのか、と思うことがあります。今年は変わったことがちらほら周りで起きていて、変化の年になるのかもしれません。よい方向に変化する…

2018/12/14 AWS Glue と Lambda Architecture

クリスマスの雰囲気が好きなのですがいかんせん寒くなってきて、出かけるのが億劫になってきました。インフルエンザも流行りだしたようなので、そろそろマスクをしなければいけない季節でしょうか。 今日は分散処理周りで調べ物をしていたので、読んだ記事を…

2018/12/13 (公式ブログより)AWS Kinesis を利用したリアルタイム+バッチ集計

Amazon Kinesis および Amazon Athena を使用して VPC ネットワークのトラフィックを分析および視覚化する AWS の公式ブログにて、以下の Kinesis と Athena を利用した分析基盤の例が紹介されていました: aws.amazon.com Athena のところは本質的ではない…

2018/12/11

Big Data Analytics Architectural Patterns and Best Practices re:Invent でのこの資料が、包括的で分かりやすかったのでメモ。(先日見かけて、今日見直そうとしたら見つけるのに時間がかかったので。。)データの温度などの概念も交えながら綺麗に図にま…

2018/12/07 Netflix のデータ分析基盤事例

来週土曜日、12月15日に JJUG CCC 2018 Fall が開催されます。 JJUG CCCは毎年2回、春と秋に開催する日本最大のJavaコミュニティイベントです。Java関連の技術や事例に関する良質なセッションが行われ、また異なる分野で活躍するJava技術者が一堂に会する場…

2018/12/04 Hive のマテリアライズドビュー

2019年の手帳を買い、12月から使おうと予定を書き込んで数日使っていたところ、2018年ではなく2019年の12月にずっと書き込んでいることに気づきました。無印の手帳なのですがウィークリーに「年」が付いていないので気づきませんでした。。買い換えるのもも…

2018/12/02 DAMA-DMBOK2

いよいよ12月ですね、個人的にはイベントが多くて楽しみな月です。 読み中: DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition) 先輩に紹介されて、以下の本を読んでいます: www.safaribooksonline.com データマネジメントについて体系的に説明…

2018/11/30

いよいよ12月ですね。街中のクリスマスムードも一気に加速するんでしょうか。イルミネーション見るのも寒いのも好きなので、一年で一番楽しみな季節です。 勉強会・忘年会の予定がすでにいくつか入っているので、師走の文字通り忙しくなりそうです。ひとまず…

2018/11/27 Maven, Spring のプロファイル設定

渋谷でお気に入りの居酒屋ランチがあって、今日同僚を連れて行ったのですが、食べログで非常に点数が高いお店だったようです。ランチはぶらぶら歩きながら決めることが多いので、評価はおろか店の名前すら知らなかったです(今も忘れました。。)。焼き魚も…

2018/11/26 Hadoop ResourceManager HA 構成の設定(メモ)

Hadoop 系のプロダクトはパラメータが多く、業務で私が設定することは少ないので、何かの調査のたびにいつも調べたり眺めたりしているだけなのですが、、忘れがちなので文章にしてみます。 Hadoop 本家はこちら: Hadoop – Apache Hadoop 2.8.5 そして特に Y…

2018/11/21 LINE DEVELOPER DAY 2018

先日、LINE DEVELOPER DAY 2018 に参加してきました。 linedevday.linecorp.com engineering.linecorp.com 資料は後日公開されるようですので詳しくはそちらをご覧ください。 公開されていました、SlideShare から閲覧できます: www.slideshare.net 数日時…

2018/11/20 Amazon Corretto

そろそろ年末が近づいてきました。異動もあって歓送迎会があることもあり、11月末〜12月に掛けてお酒を飲む機会が増えそうです。ちなみに・・・お酒でいうと最近のお気に入りはこのクラフトジンです: https://www.amazon.co.jp/%E3%83%8B%E3%83%83%E3%82%AB…

2018/11/19 Oracle Code One 2018 報告会 ボランティアしてきました

先週末より部署異動がありまして、新しい部署での勤務が始まりました。家からちょっと遠くなったのと、乗り換えがどうも上手くいかないルートばかりで最適ルートが見つかっていないので、しばらく試行錯誤しながら通勤します。 先日土曜日、こちらのイベント…

2018/11/14 正規表現でグループ化した文字列の取得

中国人の友達と日本語・中国語を教え合っているのですが、中国人にとっては中国語に近い熟語のほうが使いやすいようです。「それ錯誤です」と言われて気づきました。「間違う」は日本語としての変化があるので面倒だけれど、「錯誤」のような熟語なら音読み…

2018/11/08 SlackAPI, 三項演算子, goto文

飾り棚を少しずつ冬っぽくしようと、昨日夜飾り付けをしていました。マリボウルはクリアしか持っていないのですが、火をつけると雰囲気が華やかで良いですね。サルパネヴァプレートに写る様子もとてもきらびやか。 Slack の API を呼ぶ Slack の API を通じ…

2018/11/06[2] オブジェクト初期化の引数が多くなってきた時の対処法

オブジェクトのフィールドが増えると初期化する時の手間も増えてきてしまい、Java ならビルダパターンなどで必須パラメータと任意パラメータをうまく分けられたのですが、Go言語ではどうしているのか検索しました: stackoverflow.com ベストアンサーではな…

2018/11/06 日付処理

週末に TOEIC の S&W(Speaking and Writing)を受けてきました。2回目か3回目なのですが数年ぶりだったのと、対策する時間があまりなかったのでスピーキングがしどろもどろに。L&R は日々の勉強でよい点数が取れたのですが、スピーキングはやはり試験対策し…

2018/11/01 クロスコンパイルとリリース

ハロウィンについてフィリピン人の英会話の先生と話をしていたら、フィリピンは世界でもっともクリスマスを長く祝う国?らしく、9月1日からクリスマスのデコレーションをするのだとか。ハロウィンもハロウィンで仮装して騒いで楽しむらしく、10月末はハロウ…

2018/10/31 ステージング・本番など実行環境によって変数設定する

昨日最寄駅で、地図の前で荷物を持ってうずくまっている、来日したばかりと見える外国人家族がいたので道案内をしました。そこの位置からだとホテルまでいくのが難しく、歩くと40分以上かかるし、ホテルの最寄り駅もそこからはうまくアクセスできないので、4…

2018/10/29 異なる型のスライスの結合

先日、上野アメ横のセンタービル 地下食品街に行って仙草ゼリーを買ったのですが、店員さんが中国人だったので「你好」と言うと、「你好」を返してくれました。そのあとお会計の数字も聞き取れたし(920, 九十二)、一見無愛想なおじさんでしたが、最後に「…

2018/10/26 Go 言語での REST API クライアント

一昨年、渋谷のセンター街にハロウィン見学に行ったのですが、それはもう大変なお祭り騒ぎでした。今週末がハロウィンのピークかもしれませんね。 我が家もなんとなくハロウィン気分を味わいたかったので、鏡にハロウィンのステッカーを貼ってみました。ちょ…

2018/10/25 Spotify の開発体制

JJUG のイベントスタッフボランティアに応募しているのですが、11月か12月に参加することになりそうです。久しぶりなので楽しみ。 「Spotifyのスケーリングアジャイル – 部隊、分隊、支部やギルドと共に歩む」 ちょっと古いんですが Twitter で回ってきまし…

2018/10/23 iota のデフォルト値

去年、左腕の骨に生まれつきの病気があることがわかって、流蝋骨症(Melorheostosis)というのですが、年に一度大学病院で診てもらっています。昨日診てもらったところ特に去年と変わりないようでした。ただ負荷をかけるのは良くないようなので、運動も有酸…

2018/10/19 YAML ファイルの変換

今日は簡単なメモだけで。思ったより YAML 変換が簡単でよかった。 みなさん良い週末を! YAML ファイルをオブジェクトに変換する 便利なライブラリが用意されていて、簡単に YAML ファイルを Go 言語のオブジェクトに変換することができました。 github.com…

2018/10/18 Go言語でのテスト(続き)

米国 Yahoo の記事を毎日少しずつ読むようにしているのですが、殺人事件が多いですね。銃事件はもちろん、親族間のトラブルなどでの殺人もよく目にします。strangle(絞殺する)なんて単語も、なんども見かけるので覚えてしまいました。alledge も動詞や副詞…

2018/10/17 Go言語のメールライブラリ、テスト、ロギング

お昼は吉野家・はなまるうどん・ガストの合同定期券でサッと食べて、喫茶店で語学の勉強をしていることが多いのですが、今日は久しぶりにマックに行きました。すると近くの席のおばさん二人が、座ってもいないのに別の席のコンセントを使ってしまい、店員と…

2018/10/15 Go言語の構造体への埋め込みについて

アメリカのドラマを見ていると、よくアジア人として中国人が出てきます。映画グレムリンで出てくるモグワイもチャイナタウンで中国人から買ったし、Sex and The City でシャーロットが養子としてもらった女の子も中国からでした。Big Bang Theory でも中国人…