GCP Cloud ComposerでBigQueryのテーブルを操作するワークフローを作る手順

GCP Cloud Composerの動きを一通り確認するために以下のAirflow向けのを参考にワークフロー作成しました。内容をシンプルにするためいくらか修正しています。 cloud.google.com やること Cloud Composer作成 BigQueryデータセット・テーブル作成 AirflowのDA…

AZ-300 Microsoft Azure Architect Technologies を合格してきた

このブログ始めた頃(4~5年前)は、主に仕事ではAzureを使っていたのですが、暫くご無沙汰でした。 最近だと去年ChatBot作るため、Azure Bot Serviceを使いたくてAzure使っていたくらい。 最近マルチクラウドの案件が増えてきたため、AWSとGCPに合わせてAzur…

GCP Professional Cloud Network Engineer 認定試験合格してきた

一昨日思い立って、スケジュールにらめっこしたところ、昨日しか空いてないので、会社の近くのテストセンターで取得してきまいた。 まだ日本語提供されてない英語試験です。GCPの英語試験の注意点はこちらで書いた内容と同じです。 yomon.hatenablog.com 試…

GCPとAzureをSite-to-SiteでVPN接続してみた(CLI作業)

GCPからAzureにサイト間VPNを接続した手順です。 以下にあるように、2019/10/18時点では、GCPとAzureのBGP接続はサポートされていないようなので、ルートベースのVPNを設定手順です。 VPN interoperability guides | Cloud VPN | Google Cloud 全体像 このフ…

AthenaにVPCエンドポイント経由でJDBC接続できるようになったが少し詰まった話

こちらのリリースにあるようにAthenaにVPCエンドポイント経由で接続できるようになりました。これで、プライベートなサブネットからもJDBC接続できるようになりました! aws.amazon.com 試してみる 早速、前に記事書いたこちらのDockerイメージでテストして…

AWS CloudformationでSecurity Groupの自己参照の設定を行う

AWS

Glue使っているとSecurity Groupに自己参照の設定をしなければいけない時があります。 AWS Glue がコンポーネントと通信できるようにするには、すべての TCP ポートに対して自己参照のインバウンドルールを持つセキュリティグループを指定します。 https://d…

GCP Professional Cloud Security Engineer 認定試験合格してきた

Google Cloud Certified Professional Cloud Security Engineerを取得してきました。 試験準備 まだ日本語提供がされていない試験なので、英語での受験となります。 言語が違うだけなのですが、手続き関係で試験と関係無いところで詰まりどころがいくつかあ…

htpasswdファイルを簡単に作るにはDocker使うのも便利

手元の環境でhtpasswdのエントリを生成するのに、Docker使えばお手軽便利でした。 $ sudo docker run -it httpd:2.4.39-alpine htpasswd -nb otomo Passw0rd otomo:$apr1$MACrpovj$tMIF8X/QOnm740kB49CN5. サーバーにhtpasswd入っている場合はもちろんそっち…

Fluentdのtailプラグインでpathで指定したファイル名を後続処理で利用する

Fluentdのtailプラグインを使っている際に、ファイル名に日付等の情報を埋め込んで後続処理で使う方法を調べました。 ※WindowsのFluentd使っています 例えば、「C:\data\csv\data.csv.20190913」ような感じで、日付をファイル名に埋め込みます。このファイル…

PowerShellのワンライナーを実行するWindowsタスクをPowerShellで登録

題名の通り、WindowsタスクにPowerShellのワンライナーを埋め込みたくて方法を調べていました。ついでに、IISのログを削除するWindowsタスクを、PowerShellワンライナーで実装して、PowerShellでWindowsタスク登録するまでやったのでメモ。(何書いてるかわ…

マイクロソフト Sculpt Ergonomic Mouse L6V-00013を腱鞘炎対策に買ってみた

その中でも最近は自宅作業が多いので、自宅の作業環境を徐々に改善してきており、今回、自宅用のマウスを新しく購入しました。 マイクロソフト ワイヤレス マウス 人間工学 高精細読み取りセンサー Sculpt Ergonomic Mouse (ブルートラック) L6V-00013出版社…

ElasticsearchとKibanaのバージョン指定の検証環境をDockerで立ち上げる

同じこと調べるの3度目だったので、将来の自分のための作業メモ残しておきます。 準備 設定 docker-composeファイル 後は起動するだけ Kibanaにアクセス 参考 準備 適当なディレクトリ作って移動。 mkdir es cd es/ 設定 とりあえず、ローカルマシンでのちょ…

AWS Certified Security - Specialty取得してきました

最近、認定試験の記事ばかり書いている気がします・・ ちょうど個人的繁忙期で、個別技術追う時間が無くて試験予約だけして直前に勉強くらいしか時間が無いのが実情です・・ただ、そういう忙しい時でも、お金かかっているので意地でも勉強するので試験は便利…

【Google Cloud・GCP】Professional Cloud Developer 認定資格取得してきました

GCPのProfessional Cloud Developer取得してきました。 勉強内容 模擬試験 AWSとの比較 キャンペーンの利用 出題傾向 日本語 プレゼント 所感 GCP試験関連 勉強内容 事前知識として、このあたりがあったからで、今回は本当に準備少なくいけました。 yomon.ha…

技術ブログが500記事に到達したので振り返り

別の記事を書いていたのですが、気づいたら次の投稿が500記事目でした。 せっかくの500という区切りの良い数字なので、書いてた記事取りやめて、記念と独り言記事書きます。 ステータス 今の書いている時点では投稿数499記事。これを投稿して500記事です。 …