Java

Apache BeamでJavaのObjectをParquet形式でS3とGCSとローカルに出力する

GCPのCloud Dataflowでも使われている、Apache BeamでJavaの内部で持っているデータをParquetに出力するやり方です。 サンプルコードの構成 元にしたMaven ArcheType 利用するPOJO GenericRecordへの変換 出力先の切り替え ローカルに出力してみる GCSに出力…

Amazon Elasticsearch ServiceにJDBCで接続してSQL実行する

Amazon Elasticsearch Service(以下、AES)にJDBC接続する方法です。 AESのSQL機能 AESのSQL機能はOpen Distro for ElasticsearchというAWS主導のプロジェクトで開発されています。 github.com この辺りは、AESのSQLのエンドポイントやプラグイン名にも表れ…

Visual Studio CodeでSpring Bootのリモートデバッグ環境の設定

タイトルの件をメモ。 Spring Bootを起動する時に以下のようにデバッグポート指定して起動する。 $ java -Xdebug -Xrunjdwp:server=y,transport=dt_socket,address=8888,suspend=n -jar ./build/libs/gs-spring-boot-0.1.0.jar 上記で指定したポートを launc…

SAP JVMについてOracle JDKとの違いを調べてみた(jvmmonという便利ツールは知っておきたい)

2年ぶりに調べたのでこちらにも書きました。 www.beex-inc.com Oracle JVMとSAPJVMとの違いを聞かれたのですが、SAP製品インストールする時にダウンロードするくらいで、確かモニタリングの拡張してあるんだよな・・くらいの認識だったので、ちゃんと調べて…

JavaからSlack API経由でメッセージを送信してみた【Simple Slack API】

JavaでSlackへメッセージ送信しようとしたのですが、Simple Slack APIというAPIを利用したら簡単にできたのでメモしておきます。 場所 github https://github.com/Ullink/simple-slack-api Mavenの場合はここです。 https://mvnrepository.com/artifact/com.…

CentOS7でMuninのjstat__heapで情報が取得できない

以下のmuninプラグインでJavaのheap使用状況を監視しています。 github.com CentOS7になってJavaのheapデータが取れなくなりました。 現象 munin-runでテストしてみたところ問題無くJavaのheap情報取れています。 # munin-run jstat__heap Eden_Used.value 2…

jinfoやjmapで例外InvocationTargetException情報が取れない

他の調査中に発見解決した問題ですが、備忘メモ。 環境 CentOS Linux release 7.2.1511 openjdk version "1.8.0_77" 事象 jpsで見つけたプロセスにjstatした所は問題無く表示されるのですが、 # jps 4470 Jps 3159 start.jar # jstat -gc 3159 S0C S1C S0U S…