AWS GlueでGrok使いALB アクセスログを取り込んでParquetやORC形式に変換

Grokパターン作成 事前調査 ALBのアクセスログの項目 ビルドインのGrokのパターン logstashのELBのGrokパターン 作成 分類子(Classifier登録) Crawler カタログデータベース確認 テーブル確認 Athenaで検索 ETLジョブ Glueからパーティショニングして書き込…

GARMIN vivo smart HRJ から vivoactive 3 Musicに乗り換えて数週間ですが快適です

以前こちらのブログで書いた通り、vivosmart 、vivosmart HRJと使ってきました。 下のブログにも書いているとおり、個人的一軍ガジェットなのですが、なんせ24時間つけっぱなしなので、子供と遊んだりしていると、ボロボロになってきます。 yomon.hatenablog…

【AWS Glue】aws-glue-samplesを動かすまでの前準備の作業メモ

AWS GlueのNotebook起動した際に Glue Examples ついている「Join and Relationalize Data in S3」のノートブックを動かすための、前準備のメモです。 Join and Relationalize Data in S3 This sample ETL script shows you how to use AWS Glue to load, tr…

Azure Bot Builder SDK for Node.js Version 4でTypeScript開発環境構築

botbuilderのVersion4ですが、いつリリースされるのかと待ってたところ、今週botbuilderの4.0.6がnpmにリリースされて、preview表示が消えているのを見つけました。 実際はまだ各所でPreviewのままなので正式リリースでは無いのかもしれません。 このロード…

感圧センサーの値をRGB LED Matrix Displayでグラフ表示してみた

先週やったことなのですが、そのままだとすぐに忘れそうなので書いておきます。 使ったパーツ 感圧センサー RGB LED Matrix 64 x 32 配線 プログラム 準備 配置 実行 使ったパーツ 感圧センサー yomon.hatenablog.com RGB LED Matrix 64 x 32 yomon.hatenabl…

Azure Bot ServiceでSlackやTeamsなどの別チャネル間でのメッセージを仲介するBotを作る

やりたいことタイトルで伝わるか微妙ですが、要は以下の図のようにAzure Bot Serviceで仲介して複数のチャネルの人を繋げるやり方が無いかと調べ始めました。 そこで見つけた、このあたりのIssueを読むと、できそうな気がしたので実際にやってみました。 Mak…

Raspberry PiでSPI1の系統を追加で有効化して設定する方法調べたのでまとめ

複数系統のSPIを利用したい状況になったので調べました。 GPIOピンマップ SPI1有効化の設定 SPI1有効化確認 SPIの色々な設定 CEにアサインされているピンを変更したい 詳しくはREADMEにも書いてあります py-spidevで使うなら 参考URL GPIOピンマップ 参照す…

UbuntuでもAWS Systems Manager Session Manager for Shell Accessをログ取得まで設定してみた

AWS

お世話になっているクラメソさんの記事(Mac向け)を見て、私のUbuntu PC環境でもいけるかなとやってみました。 dev.classmethod.jp Ubuntu PC側作業 サーバー側 Shell Accessで接続 ロギング設定 参考URL Ubuntu PC側作業 まずはawscliを最新に更新します。…

Raspberry Pi Zero v1.3をUbuntu PCとUSBケーブル1本で接続セットアップ

Raspberry Pi Zero v1.3はWifiが無いので少し面倒かなと思っていたのですが、USBケーブルだけでPCと接続できるのでWifiすらいらないという意味で逆に便利です。 そして、送料合わせても約800円で購入できます。 www.switch-science.com そんな、Raspberry Pi…

Raspberry Piで感圧センサー(ALPHA-MF02-N-221-A01 )の情報取得するところまで

こちらのALPHA-MF02-N-221-A01という感圧センサーを購入したので情報を取得するところまで。 Amazon 感圧センサ(四角形)出版社/メーカー: スイッチサイエンスメディア: この商品を含むブログを見る スイッチサイエンス 感圧センサ(四角形) - スイッチサ…

Slackに貼られたBacklog課題URLからタイトルを教えてくれるHubot

SlackでBacklogの課題を貼り付ける時、URLだとリンク踏んでみないと何の課題かわかりません。 前の現場でRedmineのURLを貼るとタイトル教えてくれるBotがあったので、それのBacklog版を作りました。 事前準備 開発 パッケージインストール スクリプト配置 メ…

Vimキーバインド PDF Viewer の ZATHURA が良い感じ

PCの操作は可能な限りVimキーバインドで統一したいと思っています。といっても9割はコンソールとVim+VSCode+Inkdrop、ブラウザで済んでしまいます。ブラウザはVimiumにお世話になっています。 残りの1割の少なくない部分を占めるPDF観覧もVim風に操作したい…

aptで任意のバージョンを指定してazure-cliをインストールする方法

最新版にバグがあって、古いバージョンに戻した際のメモ。 ちなみにインストール手順はこちらです。 docs.microsoft.com 利用可能なパッケージの一覧を取得します。 $ apt list -a --installed azure-cli 一覧表示... 完了 azure-cli/bionic,now 2.0.45-1~bi…

Raspberry PiでP3 RGB LED Matrix Display 64×32 を動かすまで

こちらを動かしてみたのでメモしておきます。 P3 RGBピクセルパネルHDビデオディスプレイ64×32ドットマトリックスSMD LEDディスプレイモジュール192×96mm 届いた製品内容 ディスプレイ本体。サイズは商品名にもある通り192×96mmです。 ディスプレイの電源用…

AWS SAM でGolangのデバッグができるようになったので試してみた

RSSのフィードにAWS SAM CLIでGolangのデバッグができるようになったというニュースが流れてきました。 AWS SAM CLI Now Supports Debugging Go Functions and Testing with 50+ Events 確かにリリースノートにも書いてある。 Release Debug your Lambda Fu…