RS485通信の温湿度センサーXY-MD02にpymodbus.consoleで接続する

IoT

利用している機器 温湿度センサー XY-MD02 USB to RS485コンバーター 配線 pymodbus.consoleをインストール pymodbus.consoleでの通信確認 デバイス認識の確認 pymodbus.consoleでセンサーの値を取得 以前この記事の内容を手元のメモに残したと思ったのです…

2022年の仕事を振り返る

2022年も終わりに近付いてきたので今年も振り返りを書こうと思います。 使ってきた技術 仕事への関わり方を見直した 所属している会社が上場した 今年読んで印象に残っている書籍 買って良かったもの このブログも10年目です 最後に 使ってきた技術 使ってい…

AWS App Runner+ECRをTerraformでデプロイするサンプルコード(Docker化済み)

AWS

BeeX Advent Calendar 2022 4日目の記事です。 タイトルの内容を作りました。 github.com やっていること 前提 使い方 ポイント ECRのPush 挙動確認 実装ポイント Docker 掃除 参考URL やっていること ECRとApp RunnerをTerraformでデプロイしています。ECR…

MkDocsをCognito認証付きでS3+CloudFrontでサーバーレスホスティング

AWS

MkDocsが便利なので、AWSでサーバーレスかつ認証付きでホスティングできないか試してみました。 MkDocsを題材にしてますが、静的ファイルのポスティングするなら流用できると思います。 やること コード 前提 デプロイしてみる 設定 AWSリソースのデプロイ M…

AWS App RunnerでホストしたNginxをCognito認証で保護する

AWS

AWS App RunnnerでWEBサーバーをホスティングしたい。ついでにCognitoの認証を使いたいということで調べてみてます。 以下のIssueで関連する内容が提案されているので、どこかで対応されるかもしれません。 github.com 利用技術 事前設定 Cognitoの設定確認 …

Metabaseをソースコードからビルド(Docker利用)

Metabaseをビルドしようとしたのですが、Clojureに慣れてなくて環境構築詰まったので、Dockerでビルドしてみました。 環境前提 Metabaseソースの取得 ビルド用のDockerコンテナ起動 ビルド用の準備 アーティファクトの確認と実行 エラー対応 環境前提 Docker…

PythonからCognitoのUSER_PASSWORD_AUTHとUSER_SRP_AUTHでのトークン取得

AWS

Amazon Cognitoの認証フローは複数ありますが、サーバーサイドの処理のパターンから代表的な USER_PASSWORD_AUTH と USER_SRP_AUTH を行う方法を書きます。 AWSの資料から引用した以下の表の〇部分です。 引用元:https://d1.awsstatic.com/webinars/jp/pdf/…

GPVデータで格子点毎の気象要素をAWS上で時系列分析する方法を考えた課程

GPVデータ データ形式や特性について フォーマット サンプルデータ データの特性 要件 やりたいこと その他ポイント データロード データ容量 クエリ 検討 データ形式調査 パターン別に試行 RDBに行持ちで保持 データロード データ容量 S3+ Parquet + Athena…

AWS IAM Role AnywhereをDocker+OpenSSLのRootCAで試してみる

AWS

PKIベースでAWSのIAMロールを使える IAM Role Anywhereが発表されました。早速使えるようだったのでOpenSSLでCA構築して使ってみた手順を残しておきます。 環境汚さないためにDocker使っています。 AWS Identity and Access Management introduces IAM Roles…

ESP32-DevKitC-32D>Raspbery Pi WiFi Router>SORACOM Beam>AWS IoTでMQTT通信してみた

やりたいこと 構成 コード AWS IoT側確認 参考 やりたいこと 手元のESP32-DevKitC-32Dの情報を手っ取り早くAWS IoTに繋ぎたいと考えて、以下で作ったRaspberry PiのSORACOMルーター通してBeamで送ってみることにしました。 yomon.hatenablog.com 構成 構成は…

SORACOM SIMでルーター化したRaspberry Piを構築するAnsibleテンプレート

ルーターを通したSORACOM通信をしたいと思ったのですが、手元にSIM指せるルーターが無かったので、Raspberry PiとSORAOCM SIMを使ったWiFiルーターを自動構築できるテンプレートを作成しました。 Ansibleテンプレート 動かしてみる 環境構築手順 SORACOM Fun…

SORACOM Napterを使いSquid Proxy経由でデバイスにSSH接続する

やりたいこと Proxy(Squid)設定 Napterのドメインをホワイトリストに追加 squid.confの設定 Squidの設定反映 SquidサーバのグローバルIPを取得 Napterの設定 クライアントからの接続確認 nc(netcat)コマンドを使った接続確認 ssh configの設定 参考URL …

Serverless FrameworkでGCS->Cloud Functions->BigQueryの処理を書いてみる

タイトルにもある以下のような処理を簡易的にServerless Frameworkにて実装してみました。 bq load などのコマンドでも実装できそうな内容なのですが、Serverless FrameworkとGoogle Cloudの周りを調べたついでに作ってみました。 前提準備 Serverless Frame…

Azure SDK for PythonでActivity Logsを取得する

AzureのPython SDKでActivity Logを取得する方法を調べました。 使うモジュールについて そもそもどのモジュールで取得するのかわからなかったのですが、以下のIssueにヒントがありました。 Is it possible to extract Activity Logs for a subscription as …

GRIB2フォーマットをpygrib.fromstringとio.BytesIOでメモリ上で扱う

課題 対象となるファイル 利用するライブラリ 課題詳細 調査 対応 参考資料 読み込み処理 使い方 課題 気象庁から取得したGRIB2ファイルをPythonで解析しようとしています。 対象となるファイル www.data.jma.go.jp GSM 全球数値予報モデルGPV MSM メソ数値…