LambdaでElasticsearch Serviceの手動スナップショットを取得する仕組みをCfnで一括デプロイ

Amazon Elasticsearch Service (AES) で手動スナップショット取得の仕組みをCloudformationで一気にデプロイします。かつCurator使って古いスナップショットは自動的に削除する設定になっています。スナップショット取るだけで意外に大変です。 Pythonスクリ…

Amazon Elasticsearch Serviceクラスタ構成を対障害性の観点から検討してみる

Amazon Elasticsearch Serviceクラスタ構成を検討したので、そのメモを残しておきます。 ※Elasticsearch Serviceの インスタンス ですが、資料によっては ノード と表記されています。この記事ではManagement Consoleの表記に合わせて インスタンス に統一し…

fluent-plugin-aws-elasticsearch-service使ってElasticsearch Serviceに疎通確認作業

fluent-plugin-aws-elasticsearch-serviceでIAM権限でAmazon Elasticsearch Service繋ごうと思うのですが、IAM権限やアクセスポリシー変更しながらの疎通テストをしたいと思い。簡単に疎通テスト用の手順書きました。 github.com Amazon Linux2にログオン td…

Azure Solutions Architect Expert 取得してきました

Azure Solutions Architect Expertを取得してきました。 試験 前提試験 AZ-300 と AZ-301 Azure Solutions Architect Expertの認定には、以下の2試験の合格が必要です。 AZ-300:Microsoft Azure Architect Technologies AZ-301:Microsoft Azure Architect D…

Gem in a BoxでプライベートなRubyGemsをDockerで簡単に構築する

Gem in a Boxを使って、Dockerでローカル環境にRubyGemsを構築して、Gemをアップロードするところまで書きます。 github.com Gem in a Boxは公式でも以下の RUNNING GEM IN A BOX の項目で紹介されてます。 Run your own gem server - RubyGems Guides 作業…

GCP Cloud ComposerでBigQueryのテーブルを操作するワークフローを作る手順

GCP Cloud Composerの動きを一通り確認するために以下のAirflow向けのを参考にワークフロー作成しました。内容をシンプルにするためいくらか修正しています。 cloud.google.com やること Cloud Composer作成 BigQueryデータセット・テーブル作成 AirflowのDA…

AZ-300 Microsoft Azure Architect Technologies を合格してきた

このブログ始めた頃(4~5年前)は、主に仕事ではAzureを使っていたのですが、暫くご無沙汰でした。 最近だと去年ChatBot作るため、Azure Bot Serviceを使いたくてAzure使っていたくらい。 最近マルチクラウドの案件が増えてきたため、AWSとGCPに合わせてAzur…

GCP Professional Cloud Network Engineer 認定試験合格してきた

一昨日思い立って、スケジュールにらめっこしたところ、昨日しか空いてないので、会社の近くのテストセンターで取得してきまいた。 まだ日本語提供されてない英語試験です。GCPの英語試験の注意点はこちらで書いた内容と同じです。 yomon.hatenablog.com 試…

GCPとAzureをSite-to-SiteでVPN接続してみた(CLI作業)

GCPからAzureにサイト間VPNを接続した手順です。 以下にあるように、2019/10/18時点では、GCPとAzureのBGP接続はサポートされていないようなので、ルートベースのVPNを設定手順です。 VPN interoperability guides | Cloud VPN | Google Cloud 全体像 このフ…

AthenaにVPCエンドポイント経由でJDBC接続できるようになったが少し詰まった話

こちらのリリースにあるようにAthenaにVPCエンドポイント経由で接続できるようになりました。これで、プライベートなサブネットからもJDBC接続できるようになりました! aws.amazon.com 試してみる 早速、前に記事書いたこちらのDockerイメージでテストして…

AWS CloudformationでSecurity Groupの自己参照の設定を行う

AWS

Glue使っているとSecurity Groupに自己参照の設定をしなければいけない時があります。 AWS Glue がコンポーネントと通信できるようにするには、すべての TCP ポートに対して自己参照のインバウンドルールを持つセキュリティグループを指定します。 https://d…

GCP Professional Cloud Security Engineer 認定試験合格してきた

Google Cloud Certified Professional Cloud Security Engineerを取得してきました。 試験準備 まだ日本語提供がされていない試験なので、英語での受験となります。 言語が違うだけなのですが、手続き関係で試験と関係無いところで詰まりどころがいくつかあ…

htpasswdファイルを簡単に作るにはDocker使うのも便利

手元の環境でhtpasswdのエントリを生成するのに、Docker使えばお手軽便利でした。 $ sudo docker run -it httpd:2.4.39-alpine htpasswd -nb otomo Passw0rd otomo:$apr1$MACrpovj$tMIF8X/QOnm740kB49CN5. サーバーにhtpasswd入っている場合はもちろんそっち…

Fluentdのtailプラグインでpathで指定したファイル名を後続処理で利用する

Fluentdのtailプラグインを使っている際に、ファイル名に日付等の情報を埋め込んで後続処理で使う方法を調べました。 ※WindowsのFluentd使っています 例えば、「C:\data\csv\data.csv.20190913」ような感じで、日付をファイル名に埋め込みます。このファイル…

PowerShellのワンライナーを実行するWindowsタスクをPowerShellで登録

題名の通り、WindowsタスクにPowerShellのワンライナーを埋め込みたくて方法を調べていました。ついでに、IISのログを削除するWindowsタスクを、PowerShellワンライナーで実装して、PowerShellでWindowsタスク登録するまでやったのでメモ。(何書いてるかわ…

マイクロソフト Sculpt Ergonomic Mouse L6V-00013を腱鞘炎対策に買ってみた

その中でも最近は自宅作業が多いので、自宅の作業環境を徐々に改善してきており、今回、自宅用のマウスを新しく購入しました。 マイクロソフト ワイヤレス マウス 人間工学 高精細読み取りセンサー Sculpt Ergonomic Mouse (ブルートラック) L6V-00013出版社…

ElasticsearchとKibanaのバージョン指定の検証環境をDockerで立ち上げる

同じこと調べるの3度目だったので、将来の自分のための作業メモ残しておきます。 準備 設定 docker-composeファイル 後は起動するだけ Kibanaにアクセス 参考 準備 適当なディレクトリ作って移動。 mkdir es cd es/ 設定 とりあえず、ローカルマシンでのちょ…

AWS Certified Security - Specialty取得してきました

最近、認定試験の記事ばかり書いている気がします・・ ちょうど個人的繁忙期で、個別技術追う時間が無くて試験予約だけして直前に勉強くらいしか時間が無いのが実情です・・ただ、そういう忙しい時でも、お金かかっているので意地でも勉強するので試験は便利…

【Google Cloud・GCP】Professional Cloud Developer 認定資格取得してきました

GCPのProfessional Cloud Developer取得してきました。 勉強内容 模擬試験 AWSとの比較 キャンペーンの利用 出題傾向 日本語 プレゼント 所感 GCP試験関連 勉強内容 事前知識として、このあたりがあったからで、今回は本当に準備少なくいけました。 yomon.ha…

技術ブログが500記事に到達したので振り返り

別の記事を書いていたのですが、気づいたら次の投稿が500記事目でした。 せっかくの500という区切りの良い数字なので、書いてた記事取りやめて、記念と独り言記事書きます。 ステータス 今の書いている時点では投稿数499記事。これを投稿して500記事です。 …

AWS Fargate使ってサーバーレスでSelenium+Headless Chromeを実行する

この記事に行き着いた方でしたら、日々自動化を進めている中にも、ブラウザでのクリック、クリック、入力、クリック、みたいな作業が残っている人が多いと思います。 REST等でAPIが公開されていれば良いのですが、そういうAPIが提供されていないサービスもた…

AWS Glue Python Shellでloggingを使ったログ出力について

GlueのPython Shellでloggingモジュールを利用してログを取得を考えてた時のメモです。 ログ出力先 loggingモジュールのデフォルトの出力先 ログ設定パターン デフォルト 全て /aws-glue/python-jobs/error に出力するパターン ストリームを使い分けるパター…

GitHubから特定のディレクトリ配下のファイルをPowerShellワンライナーで一括ダウンロード

ちょっと作ったのでメモ。 取得したいもの 今回、ここにあるRedshiftのView定義用のSQLファイルを取得したいと思います。 https://github.com/awslabs/amazon-redshift-utils/tree/master/src/AdminViews 利用するGithub API 以下のContents APIを利用します…

G検定(2019年7月6日のジェネラリスト検定)に合格した

試験概要 動機・前提知識・勉強 受けてみて 試験について オンライン試験について 良いところ 気をつけるべきところ まとめ 試験概要 今回受けた試験の概要を本ページから引用です。 オンラインで受けられるところが気楽で良いです。ただ時間が休日の昼間な…

Samsung Galaxy Tab S5eを購入しました(iPad Air2からの買い替え)

ここ2年くらい、普段使いのタブレットとしてiPad Air2を使ってきました。 最近は外出先でノートPCではなく、タブレットをキーボードで操作している人を見る機会が増えてきている気がします。 私もタブレットのキーボード操作したいなと思い、新たなタブレッ…

Amazon Elasticsearch ServiceのKibanaでWMSマップを使う

Amazon Elasticsearch ServiceのKibanaで地図を使おうと思ったのですが、どの情報も kibana.yml を設定するものばかり。 以下の記事には大変救われました。WMSについても書いてあります。 qiita.com 上記の記事を参考にこちらのサイトにたどり着きました。 w…

Redshift Spectrumのパフォーマンスチューニングが必要なら統計情報を確認する

一番下の参考情報にも載せている通り、Redshift Spectrumのチューニングには、パーティショニングやファイルフォーマット等色々なポイントがありますが、ここでは特に見落としやすい、かつ効果の高い統計情報について書いていきます。 利用するデータ 環境準…

AWS GlueでS3上にあるPythonの外部ライブラリをインポートして利用する

題名の件、Glueで外部ライブラリをインポートしたので、その方法を書いておきます。 外部ライブラリ 参照元 アップロードパッケージ作成 GlueジョブにPythonの外部パッケージ設定 GlueのPySparkコードから実行 出力結果 本当はこんなことしたかったわけでは…

AWS Glueのワークフロー機能がリリースされたようなので触ってみました

AWS Summitで発表されたようですが、Glueの標準機能でワークフローが組めるようになったと聞いたので早速試してみました。 Glueでワークフローを組むのは大変だった やってみる CrawlerとJobを用意 ワークフロー作成 トリガー作成 ワークフロー作成 ワークフ…

Redshift Spectrumでは1400年1月1日より古いDATE型は読み込めない

同じエラーに出くわす人いると思ったので書いておきます。 S3にParquet形式で保存したデータをRedshift Spectrumで読み込むと以下のエラーが発生することがあります。 > select * from some_spectrum_table; Assert DETAIL: -------------------------------…