python
オーケストレーションツール Prefect を開発している Prefect Technologies 社の新サービス、 Control Flow が2024年6月に公開されました： https://www.prefect.io/controlflowwww.prefect.io Prefect Server に繋いでチュートリアルは行えましたが、チュー…
ブログを書くのがご無沙汰になってしまいました。6月から新しい環境でデータエンジニア/マネージャーという形で働いており、システム面や事業内容のキャッチアップをしている段階です。私にとっては新しいツールが多く、楽しさ半分、早くキャッチアップして…
簡単に Web アプリケーションが作れて人気の Streamlit ですが、入力ウィジェットも豊富に揃っていて便利です。 一方であまり学ばずともそれっぽいモノが作れてしまうため、変数周りの扱いでつまづくことが多いのではないでしょうか（私のことです。。）。備…
Streamlit のデータ編集機能と、それを利用した Snowflake テーブル編集についての記事の紹介です。最後に Looker と Streamlit を合わせて使っている記事を見つけたので、それも紹介します。 Streamlit data editor Streamlit のプレビュー機能ですが、編集…
Snowflake を Python から利用していて、クエリ文字列に変数をバインドする方法がややこしかったので共有します。クエリ内でプログラムから変数を渡す %s, :1, ? などですね: Using the Python Connector — Snowflake Documentation con.cursor().execute( "…
AWS CodeCommit を利用して、Glue Job から CodeCommit からファイルを取得して集計処理をしたいなと思ったのですが、 get_file というメソッドが存在しないとエラーが起きてしまいました。 boto3.amazonaws.com GitHub の boto3 リポジトリを見ると get_fil…
実施から時間が経ってしまったのですが、#9 に引き続き、先日 Google 社よりオープンソース化された TensorFlow という機械学習ライブラリを使った勉強会を2016年4月に実施しました。Google+ コミュニティや、前回の TensorFlow の勉強会の内容についてはこ…
先日、約1年越しの機械学習勉強会を実施しました。今回のお題は、先日 Google 社よりオープンソース化された TensorFlow という機械学習ライブラリを実際に使ってみよう！というものです。 Google+ コミュニティや、前回の実施についてはこのブログの 第1回,…
2016年に知り合いの方が TensorFlow の勉強会を開くということで、運営のサポートをすることになりました。設営だけでなく、Python などの言語的なサポートも行うことになったため、この年末年始に勉強しています。 TensorFlow（Google の公式ページ） とは …
Flask（フラスク）第2段です。 Flask の例外処理の方法について調べたところ、様々な例外処理の方法があることが分かりました。実装においては、好みのものや、アプリケーションにあったものを選択する必要がありますので、調べたことを簡単にご紹介します。…
Flask（フラスク）は、「プログラミング言語Python用の、軽量なウェブアプリケーションフレームワークである。」 (Wikipedia) ということで、簡単に使うことができる Python のウェブアプリケーションフレームワークです。 インターネット上にもサンプルがた…
