難易度について
- ☆☆☆：技術的な内容を含まないニュースなど
- ★☆☆：Elastic Stack初心者向けの解説、チュートリアルなど
- ★★☆：Elastic Stackを既に使用している方向け、新機能紹介など
- ★★★：応用的な内容でElastic Stack以外の特定の領域に対する知識を必要とするもの
  - なお、★★★については、何の理解が必要なのかを補足するようにします
  - その領域について知識があれば、特段難しくないことが多いです

また、各記事における（）内は筆者意見です。

はじめに
今週の注目情報
- 進化するElasticsearch Service：Hot-Warmクラスター、Machine Learning、ハードウェア選択、新しい料金プランが登場 | Elastic
- Elasticsearch Service on Elastic Cloudに低価格プランと新しい料金体系が登場
公式ブログ
公式ウェビナー
- Elasticsearch SQL ウェビナー
Qiita
その他ブログ記事など
先週の漏れ
- Keeping up with Kibana: This week in Kibana for July 23rd, 2018
- Kinesis Data Firehose + Elasticsearch Serviceで実現するログ基盤 in ATEAM TECH MeetUp_Vol.02 #AWS活用事例＆交流会 - July 25th, 2018
おわりに

今週の注目情報

進化するElasticsearch Service：Hot-Warmクラスター、Machine Learning、ハードウェア選択、新しい料金プランが登場 | Elastic
Elastic CloudのElasticsearch Serviceがさらに進化しました。より多くのユースケースに対応してさまざまな新機能が登場し、大規模なスケールにも対応できるようになりました。また、開発に応じたカスタマイズ機能もパワーアップしています。新機能の一部を簡単にご紹介します。マネージドサービスのElasticsearchとKibanaを一か所で管理できるようになりました ...

難易度：☆☆☆
Anurag Guptaさんによる記事です
- Elastic CloudのElasticsearch Serviceに数々の新機能が加わり、さらに料金プランが見直されました
  - Machine Learningノードのデプロイが可能に
  - ユースケース別のデプロイテンプレートが追加
  - Hot / Warmアーキテクチャのデプロイに対応
  - 料金の見直しにより、より安く利用できるように
  - 無料オプションの追加

などが、代表的なサマリです。料金については、次の記事で詳しい説明がなされています。

Elasticsearch Service on Elastic Cloudに低価格プランと新しい料金体系が登場
先日、 Elasticsearch Service on Elastic Cloudにさまざまな新機能が加わりました。検索から分析、ログまでのあらゆるユースケースでさらにバリューを体感していただくことができるようになっています。このリリースに合わせて料金体系も一層わかりやすく変更し、プランを柔軟に選べるようになりました。新しい料金プランの主な変更点は次の通りです。 ...

難易度：☆☆☆
Anurag Guptaさんによる記事です
- Elastic Cloudの料金体系変更について紹介しています
  - 月額最低利用料金が$45から$16.40に
    - また、使用料に応じた料金モデルに変更し、予測しやすくなった
      - I/O上限が1GBのプランから8GBのプランに変更すると、料金は8倍になる
  - 以下の無料枠が登場（今後も順次拡大予定）
    - Kibanaインスタンス1GB
    - Machine Learningインスタンス1GB
    - スナップショットストレージ100GB
    - APIリクエスト100K
    - データ転送100GB
  - 各インスタンスで使用しているAWS インスタンスタイプ（i3、r4、m5、d2）を明示的に表示、選択できるように

ということです。注意点としては現時点では Elasticsearch Serviceの無料枠はない と思われることです。とはいえ、今後も順次拡大予定ということなので、追加される可能性もあります！備えましょう。

公式ブログ

ENGINEERING

Hiking the Pacific Crest Trail with the Elastic Stack - Part 2: Hitting 1000
This is Part 2 of the Hiking the Pacific Crest Trail with the Elastic Stack blog series. If you haven't read Part 1, I'd recommend you check that out before continuing. I'm told that to survive you need five things; air, food, water, sleep, and shelter.

難易度：★★☆
Alex Francoeurさんによる記事です
- 6ヵ月をかけてパシフィック・クレスト・トレイル（や、その他の過酷な場所）をハイキングする兄弟、Mikeさんのハイキングデータを、Kibanaでリアルタイム可視化し、その安全を確認する事例紹介です
  - まだ読んでいない方は是非パート1から読んでみてください
- 前回からElastic Stackのバージョンを6.3にアップデートし、幾つかの変更を加えています
  - Chaining Drop-Down Inputsを使用して、地理情報を絞りやすくした
  - Top Hit Aggregationを使用し、最新の緯度/経度を使ってマップを可視化できるよう、動的Markdownの記載を更新
  - 天気の表示をタグクラウドからVega Visualizationによるものに変更
- X-Pack ReportingとAlertingを組み合わせて毎日ダッシュボードのpdfを両親に送付するように設定

私も本当にお気に入りの連載です。ここまで書かれていると、ダッシュボードにアクセスしてみたくなるのがKibana好きの性というものですが、なんとdashboard onlyユーザとしてアクセスする方法が記事の一番最後に書かれています！是非ともダッシュボードを確認して、Mikeさんの旅路を確認しましょう。

How to Tune Elastic Beats Performance: A Practical Example with Batch Size, Worker Count, and More
Working in Elastic Support for some time now, I've worked on a fair amount of performance tuning case. One of the common scenarios is to help improve ingestion rates. Ingestion has to be tested and tuned per use case - there is not a formula that fits them all.

難易度：★★☆
Ismael Hasan Romeroさんによる記事です
- Beatsのチューニングについてバッチサイズとワーカー数を変更することで行える基本的な方法を紹介しています
- 将来のブログポストではinternal queueなどにも踏み込んだ高度なチューニング方法を紹介する予定だが、一部を紹介している
  - 単一のBeatsインスタンスで高スループットを達成するための1つの方針は以下
    - queue.mem.events を 2 * workers * batch sizeに設定する
    - queue.mem.flush.min_events を batch sizeに設定する
- 本ブログポストではBeatsに着目した話をしているが、別プロダクトについてのチューニングは以下を参照すること

Anonymize-It: The General Purpose Tool for Data Privacy Used by the Elastic Machine Learning Team
Data science work typically begins with a question, like "which of these two UX designs will lead increase sales on my website?" or "how can I best recommend products to customers given their order history?" Often, one of the biggest challenges in data science is finding appropriate data with which to answer these questions.

難易度：★☆☆
Michael Hirschさんによる記事です
- 機械学習の対象とするデータは顧客の個人情報を多分に含むため、外に持ち出せないことがあります
- そのようなときにElasticsearchの中のデータを匿名化して出力できるElastic製のツール『anonymize-it』を紹介しています

RELEASES

Elastic APM Node.js Agent 1.10.0 Released
Elastic is pleased to announce that version 1.10.0 of the Node.js agent for Elastic APM has been released today, adding support for two new databases: Cassandra and Microsoft SQL Server. The agent now traces all queries made to your Cassandra cluster (PR #437). This is achieved by instrumenting the popular cassandra-driver Node module.

難易度：☆☆☆
Thomas Watsonさんによる記事です
- Elastic APM Node.jsエージェントの1.10.0がリリースされました
  - 新たなDBとしてCassandraとMicrosoft SQL Serverの対応が追加された
- 将来的に分散トレースのサポートを追加する予定であることも紹介しています

Elastic Stack Updates

公式ウェビナー

Elasticsearch SQL ウェビナー
Elasticsearch SQL,Elasticsearch,Kibana,Elastic Stack,SQL

難易度：？
大輪弘詳さんによるウェビナーです
- Elasticsearch SQLについて紹介するウェビナーだったようです
  - （当日、見ることができなかったため詳細は不明）

Qiita

ElasticsearchのRollup機能を使ってドキュメントを圧縮する - Qiita
Elasticsearchの6.3.0からRollupというインデックスのドキュメントを集計して別のインデックスに保存することで、保存しておくドキュメントを圧縮する機能が追加されました。 ...

難易度：★★☆
@NAO_MK2さんによる記事です
- Elasticsearch 6.3.0から追加されたRollup APIの使用方法を紹介しています

How to get aggregated data from nested schema using Elasticsearch DSL - Qiita
Environments ```bash curl http://localhost:9200 { "name" : "xxxxx", "cluster_name" : "elasticsearch", "clust...

難易度：★☆☆
@osk_kamuiさんによる記事です
- Nested Data Typeのフィールドについて、mappingの設定例と、Python Elasticsearch DSLを用いる際のaggregationクエリ実行例を紹介しています

CentOS7へのElasticsearch6.3 のインストール - Qiita
CentOS7環境へのElasticsearchのインストールについて纏めます。環境は次の通りです。・CentOS 7.5 ・Elasticsearch 6.3 タイムゾーンをJST に変更 ``` # timedatect...

難易度：★☆☆
@m-enoさんによる記事です
- CentOS 7.5にElasticsearch 6.3 + Kibana 6.3をインストールする方法を紹介しています

Elasticsearch SQL CLIを外に出して使う - Qiita
概要 Elasticsearechに対してSQLで結果を取得できるSQL Accessが6.3から提供されています。 SQL AccessのためのCLIは、Elasticsearch本体に含まれていますが、 SQLでSELEC...

難易度：★★☆
@tsgkdtさんによる記事です
- Elasticsearch SQL CLIの実行jarファイルを持ち出すことで、Elasticsearchのインストールされていないサーバから遠隔でElastisearch SQL CLIを動作させる方法&関連TIPSを紹介しています

Zabbix3.4 PostgreSQLとElasticsearch 6.3の連携 - Qiita
こちら](https://qiita.com/jackkitte/items/5190ab0aea6713bb12c7)を参考に、Zabbix内のPostgreSQLデータをLogstash経由でElasticsearchに格納し、...

難易度：★☆☆
@m-enoさんによる記事です
- Zabbix 3.4内のPostgreSQLのデータを、Logstash経由でElasticsearchに投入し、Kibanaで可視化する方法を紹介しています

ElasticCloudがなんさま安くなっていた！！ - Qiita
先月、可視化で遊んでランニングコストがかさむから一旦落としていたElasticCloudを再度立ち上げ。。。ん？ ![スクリーンショット 2018-08-04 8.39.29.png](https://qiita-image-s...

難易度：☆☆☆
@koshinさんによる記事です
- Elastic Cloudの価格改定により、デプロイ価格が大幅に安くなったこと、Machine Learningノードが無料になったことなどを伝えています
  - （詳しくは今週の注目の記事をご覧ください）

その他ブログ記事など

日本語

kibanaを起動する(Docker) - sakutarou's blog
今回はkibanaを起動してみます。 kibanaも基本的には公式を参考とすれば問題ありません。 Elasticsearchの起動はこちらをどうぞ kozo.hatenablog.jp www.elastic.co Dockerイメージを取得 docker pull docker.elastic.co/kibana/kibana:6.3.2 イメージ名を変更する前回同様、イメージ名が長すぎて使いづらいのでイメージ名を変更します。 docker tag {取得したイメージID} kibana:6.3.2 # 変更前は削除 docker rmi docker.elastic.co/kibana/...

難易度：★☆☆
id:sakutarouさんによる記事です
- KibanaのElastic公式Dockerイメージを起動する方法を紹介しています

アクロクエストテクノロジー、Elastic社のAdvanced Reseller Partnerに認定 | Acroquest Technology株式会社(アクロクエストテクノロジー)
ビッグデータ分析／可視化ソリューション事業を展開するアクロクエストテクノロジー株式会社（本社：神奈川県横浜市、代表取締役：新免流、以下「アクロクエスト」）は、Elastic社（本社：オランダアムステルダム、代表取締役：Shay Banon）の Advanced Reseller Partner に認定されましたので、お知らせいたします。 ...

難易度：☆☆☆
Acroquest Technologyさんによるプレスリリースです
- 日本初のElastic社とのAdvanced Reseller Partnerに認定されたことを公表しています
- （なお、通常のユーザであれば、あまり気に掛けることはないと思いますが、パートナー契約形態の種類はこちらから確認することができます）

Elasticsearch でフィールド同士の差分で検索したい (例えば, 開始から終了の経過時間で検索したいとか) - ようへいの日々精進XP
分かりづらいタイトルですいませぬ. 以下のようなデータを Elasticsearch に突っ込んでいたとして, start と end の差分 (経過時間) を算出して, その結果から N 秒以上とか, N 秒以上, N 秒以下を検索条件として利用する方法を検討したのでメモっておく. 尚, 検証に利用した Elasticsearch 環境は以下の通りで, Kibana のバージョンは 6.2.4 を利用している.

難易度：★★☆
id:inokaraさんによる記事です
- 開始時間と終了時間をdate型で保持するドキュメントにおいて、その差分時間などを算出して検索条件に使用する方法を紹介しています
  - （KibanaのScripted Fieldsにも転用できる事例かと思います。）

エラーログを使用して Amazon Elasticsearch Service ドメインを簡単にトラブルシューティング
Amazon Elasticsearch Service で Elasticsearch のエラーログを有効にできるようになり、検索のトラブルシューティングに役立つ情報の利用や、インデックス作成オペレーションをすばやく簡単に行うことができるようになりました。これらのログは Amazon CloudWatch Logs サービスにパブリッシュされ、自由にオンまたはオフにできます。お支払いいただくのは、使用量に応じた CloudWatch 料金のみです。Amazon Elasticsearch Service の使用に対する追加料金は適用されません。

難易度：☆☆☆
AWSによるアップデート情報です
- Amazon Elasticsearch Serviceからエラーログを出力できるようになった
- エラーログはCloudwatch logsに出力され、使用料はCloudwatchの分のみ
  - Amazon ESに追加料金はかからない

Amazon Lex と Amazon Elasticsearch Service を使用してドキュメントサーチボットを構築する | Amazon Web Services
私たちはドキュメントの検索に多大な時間を費やしています。ドキュメントストアにまずアクセスし、関連するドキュメントを検索します。ドキュメント内のテキストを検索するには、別の検索を行う必要があります。このブログ記事では、音声やテキストを使用してドキュメントを検索する方法について説明します。

難易度：★★★
- Amazon Lex、Amazon Lambdaに対する理解
AWSのAkash Jain, Rahul Kulkarniさんらによる記事です
- Amazon LexとAnazon ESを組み合わせることによりドキュメントサーチボットを構築する方法を紹介しています
  1. S3にpdfデータなどのドキュメントデータをアップロードした際に、自動でAmazon ESにインデクシングするLambda関数を作成する
    - Amazon ESにはApache Tikaのライブラリがビルトインされているため、ドキュメントの文字をパースすることが可能
  2. Amazon Lexでサーチボットを構築する
    - Amazon ESに検索クエリを投げるクライアントとしてはLambdaを使用
  3. LexとWEB画面を連携させてエンドユーザに提供する
    - ここの部分は今回の記事では解説しない

なお、構築のために必要なデータなどは全て提供されているので、再現した環境を構築することが可能です。

Elasticsearchの基本的な操作について - ウェブエンジニア珍道中
Elasticsearchの基本的な操作などをまとめます。半分メモのようなものです。間違った解釈があればご指摘いただければ幸いです。 CRUD（Create・Read・Update・Delete）はREST APIで行います。REST APIはRailsでよく作るアレです（適当）。

難易度：★☆☆
id:te-nuさんによる記事です
- Elasticsearchの基本的なCRUD操作の方法を紹介しています

2018-08-02_elasticsearch_tarao.pdf

難易度：★★☆
はてなのid:taraoさんによるスライドです
- はてなブックマークの人気一覧push型更新をElasticsearchのPercolate Queryを使うことで実現したことを紹介しています

Kibanaを用いたアクセスログ調査と解析 / Access Log Analysis Using Kibana

難易度：★★☆
はてなのid:alpicolaさんによるスライドです
- 同社が提供するMackerelとKibanaを組み合わせて使う際のケーススタディを紹介しています
  - まず、Mackerelのアラートで異常に気付く
  - その後、Mackerelで異常を示したメトリクスを頼りにKibanaで原因を探求していく

Sudachi ❤︎ Elasticsearch
Elasticsearchで今すぐ使えるビジネス向けトークナイザー『Sudachi』 https://github.com/WorksApplications/Sudachi 【京都開催】Elasticsearch勉強会 #elasticsearchjp https://www.meetup.com/ja-JP/Tokyo-Elastic-Fantastics/events/252971593/

難易度：★★☆
- kuromojiを使ったことが合ったり、形態素解析の基礎的な知識を有していると望ましい
Sorami Hisamotoさんによるスライドです
- 商用利用に耐えうる形態素解析器Sudachiを紹介しています
  - Elasticsearchプラグインもあり、日本語解析の標準プラグインを目指すとのこと
    - （正直なところ、あとはインストールのしやすささえ改善されれば、Kuromojiのリプレイスは現実的な気がします。私も今後はメイン採用していこうかと思います！）
- また、Sudachiに関するやり取りが可能なSlackワークスペースも紹介しています
  - （GitHubから参加できるので、使用を検討している方、使用し始めている方はぜひ参加してみてはいかがでしょうか）

MacOSへのElasticsearchインストール手順
Elasticsearchインストール方法のうち、HomeBrew(推奨)の手順を解説します。 HomeBrew という、パッケージをいいようにインストールしてくれるツールをダウンロードします。他にもElasticsearchをzipファイル形式などでインストールする方法なども利用しましたが、HomeBrewを使うのが一番楽でした。 ...

難易度：★☆☆
kubokiyoshiさんによる記事です
- MacOSにてhomebrewでElasticsearchをインストールする方法を紹介しています

Ansible Tower(AWX)のシステムログ及びジョブ実行ログを一先ずElasticsearchに取り込んで可視化する手順(備忘録)です。
Elasticsearch + Logstash + Kibanaを構築してAnsible Towerのログを転送し一先ず可視化するところまでやります。設定も最低限にしかしません。

難易度：★☆☆
sky_jokerさんによる記事です
- Ansible Tower(AWX)のシステムログおよびジョブ実行ログをKibanaで可視化するまでの環境構築+設定方法を紹介しています

ABIERRE
「ITエンジニア」や「ITやりたいけどよくわからない」、「ITなにそれ？」って方へ技術支援などを目的としたチームです。

難易度：★☆☆
ABIERREのISSIEさんによる記事です
- macOSにElasticsearchをインストールする方法と幾つかの初心者向け情報を紹介しています

企業内検索システムの商談が急増　使い勝手の改善で顧客ニーズ引き出す――日立ソリューションズ｜ニフティニュース
日立ソリューションズの企業内検索システムの商談が活気づいている。今年度に入ってからオープンソースソフトウェア（OSS）の検索エンジン「Elasticsearch（エラスティックサーチ）」の取り扱いを始...

難易度：☆☆☆
週刊BCN+の記事です
- 日立ソリューションズさんがElasticsearchの取り扱いを始めたところ、今年度の企業内検索関連の受注が倍増する見込みであり、好調であることを伝えています

Elastic Stack を使用した SQL Server の情報取得
Elastic Stack の Logstash / Elasticsearch / Kibana を利用して...

難易度：★☆☆
Masayuki Ozawaさんによる記事です
- Ubuntu 16.04にElasticsearch / Logstash / Kibanaの環境を構築し、SQL Serverの情報を投入するまでの手順を紹介しています

英語

Native Elasticsearch Analytics Demo
Elasticsearch analytics video demo using Knowi. We demonstrate how Knowi natively integrates to Elasticsearch including building queries and a couple of visualizations. If you're looking for an alternative to Kibana x-pack , watch this demo.

knowiによる動画です
- 難易度：★☆☆
- 同社が提供するKnowiでElasticsearchのデータを可視化する手順を紹介しています

jillesvangurp/es-kotlin-wrapper-client
es-kotlin-wrapper-client - Kotlin client for Elasticsearch 6.x that wraps the official Java Elasticsearch Highlevel REST Client.

jillesvangurpさんによるリポジトリです
- 難易度：☆☆☆
- Kotlin用Elasticsearchのα版がコミットされ始めています

[1807.10792] NDBench: Benchmarking Microservices at Scale
Abstract: Software vendors often report performance numbers for the sweet spot or running on specialized hardware with specific workload parameters and without realistic failures. Accurate benchmarks at the persistence layer are crucial, as failures may cause unrecoverable errors such as data loss, inconsistency or corruption.

難易度：★★★
NetflixのIoannis Papapanagiotou, Vinay Chellaさんらによる論文です
- 各種データストアのベンチマークを適切に実行するNetflix Data Benchmark (NDBench)について論じています
  - Elasticsearchのベンチマークも実行可能とのこと

Announcing the Logz.io Community
We are happy to announce the official launch of the Logz.io Community - a space for like-minded professionals dealing with the same challenges involved in developing, monitoring and troubleshooting business-critical apps and services.

難易度：☆☆☆
Daniel Bermanさんによる記事です
- Elastic StackのSaaS環境を提供するlogz.ioが公式コミュニティ(Slackワークスペース)を開設しました
  - サポートコミュニティではないことに注意してください
  - ガイドラインを読んだうえで、参加することを呼び掛けています

Kubernetes FaaS - Kubeless Python and Elasticsearch
FaaS or Function as a Service also known as Serverless computing implementations are gaining popularity. Discussed often are the cost savings and each implementations relationship to the physical and network architecture of a specific platform or vendor. While many of the cost and infrastructure advantages of FaaS are compelling, its only one of many advantages.

難易度：★★★
- k8s, kubelessに対する理解
Craig Johnstonさんによる記事です
- kubelessを使用して、サーバーレスなElasticsearchクライアントを実現する方法を紹介しています

Force the allocation of an elasticsearch index on restore
Today, I had occasion to delete an elasticsearch index and restore it from a snapshot. Normally this is a straightforward process, but this particular cluster has been in a yellow state for a while because all of its nodes are up against the low-disk watermark and many of its replica shards are thus sitting unallocated....

難易度：★★★
- Elasticsearch内部動作に対する理解
andrewgさんによる記事です
- Elasticsearchのリストア時に特定シャードの割り当てを強制終了する方法を紹介しています
  - 今回は途中で全てのノードのlow disk watermarkを超えてしまった状態に陥った
  - 解決策として、Cluster APIのCluster Rerouteを実行します
    - オプションallocate_empty_primaryコマンドにより、空のprimary shardを割り当てたことにします

How-to: Migrate Elasticsearch Cluster to Amazon Virtual Private Cloud (VPC) with ZERO downtime.
While the steps below are high level and should be applicable for most infrastructure setup, I have provided some additional details that we considered for our setup at Mighty Networks. The Old Architecture: This comprises of Elasticsearch-Master nodes and 5 Elasticsearch-data nodes (3 for Application and 2 for Analytics).

難易度：★★★
- クラシックEC2から現行のVPC上のEC2への移行方法に対する理解（Classic-Linkなど）
- DB移行の知識（移行時期には現行系と移行系の両方にデータを書き込むなど）
Mighty NetworksのVishnu Narangさんによる記事です
- これまでクラシックEC2インスタンスで起動していたElasticsearchをゼロダウンタイムでVPC上に移行する方法を紹介しています
  - Elasticsearchクラスタの構成
    - 移行前
      - 3つのマスターノード（m3.large）
      - 5つのデータノード（m3.2xlarge）
    - 移行後
      - 3つのマスターノード（m4.large）
      - 6つのデータノード（m4.2xlarge）
        
        アプリ用に4つ
        
        分析用に2つ
    - 移行後の方がノード数が多いが、価格は安くなる

Taking Time-series Analysis with Elasticsearch to Production
The main goal of using the machine learning tool available with the elastic stack is extracting the maximum value from the information we index. Thus far, we've been able to obtain page views with...

難易度：★☆☆
David Antónさんによる記事です
- X-Pack Machine Learningの一般的な適用先や、プロダクションデータに適用したときの一例を紹介しています

Getting started with Elasticsearch and Kibana - Mikey Hogarth - Medium
If you are interested in learning Elasticsearch/Kibana and want to get up and running with an environment on your local machine, here is how to do it really quickly with Docker. Assuming Docker is installed on your machine, make a folder (call it what you want) and create a file called docker-componse.yml.

難易度：★☆☆
Mikey Hogarthさんによる記事です
- docker-composeでElasticsearch+Kibanaをデプロイする方法を紹介しています

日本語、英語以外の言語

https://openwebinars.net/blog/que-es-elk-elasticsearch-logstash-y-kibana/?utm_source=dlvr.it&utm_medium=twitter

難易度：★☆☆
Sergio Losadaさんによる記事です
- Elasticsearch / Logstash / Kibanaについて、その概要を説明しています

3 - NodeJS ile Elasticsearch ve MySQL Üzerine Bir Uygulama Yapalım
İlk iki yazı ile birlikte ES seviyesine kadar uygulamamızı getirdik ancak ES tarafında istediğimiz sonuçları halen elde edemedik. İlk iki yazıda biraz konuyu uzattık ama işin iç yüzünü öğrenmek için biraz öyle olması gerekiyordu. Bu yazıda biraz daha hızlı ilerleyelim ve daha fazla ES ile ilgili konulara girelim.

難易度：★★☆
Haydar Külekciさんによる記事です
- node.jsアプリの検索部分にElasticsearchを採用するにあたって、その方法を紹介しています
  - パート2まで
    - アプリはMySQLにのみデータを投入する
    - Logstashのjdbc-input-pluginMySQLのデータをElasticsearchに投入する
  - パート3
    - アプリでMySQLにデータを投入する際に、Elasticsearchにも投入する
    - Logstashは採用しない
- シリーズ過去の投稿
  - 1 - NodeJS ile Elasticsearch ve MySQL Üzerine Bir Uygulama Yapalım
  - 2 - NodeJS ile Elasticsearch ve MySQL Üzerine Bir Uygulama Yapalım

先週の漏れ

Keeping up with Kibana: This week in Kibana for July 23rd, 2018
Welcome to Keeping up with Kibana! This is a series of posts on new developments in the Kibana project and any related learning resources and events. Check out this guest blog by Edan Shahmoon from Micro Focus who was kind enough to share his experience with Canvas.

難易度：★★★
- 従来のKibana機能に対する理解
Raya Fratkinaさんによる記事です
- 最近のKibanaアップデートサマリ
- （週終わりにポストされたので、ギリギリ反映できず…）

Kinesis Data Firehose + Elasticsearch Serviceで実現するログ基盤 in ATEAM TECH MeetUp_Vol.02 #AWS活用事例＆交流会 - July 25th, 2018
2018年7月18日に開催された、「ATEAM TECH MeetUp_Vol.02 #AWS活用事例＆交流会」での登壇資料です。

難易度：★★☆
エイチームライフスタイルの杉本啓史さんによるスライドです
- ログ基盤としてAmazon Elasticsearch Serviceを使う際に気を付ける点、ハマりどころに対する解決策を紹介しています

おわりに

今週は以上です。

さて、これまで毎週、説明を加えて更新してきましたが、来週から

完全に更新を休止する
説明など全く抜きのリンク集ぐらいでやっていく

のどちらかにするつもりです。前者の方が濃厚かも。（別件でやりたいことができてしまったので、そちらに時間を使いたいという心境の変化。）

引き続き、最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、是非とも参加ください。

* ( You're filled with ELASTIC. )

2018-07-29

今週のElastic News (2018/07/22～2018/07/28)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

なお、様々なバックグラウンドの方が読まれることを考慮して、各記事に試験的に難易度を記載することにしました。完全に独断と偏見に基づく難易度を設定しますので、参考程度にどうぞ。

難易度について
- ☆☆☆：技術的な内容を含まないニュースなど
- ★☆☆：Elastic Stack初心者向けの解説、チュートリアルなど
- ★★☆：Elastic Stackを既に使用している方向け、新機能紹介など
- ★★★：応用的な内容でElastic Stack以外の特定の領域に対する知識を必要とするもの
  - なお、★★★については、何の理解が必要なのかを補足するようにします
  - その領域について知識があれば、特段難しくないことが多いです

また、各記事における（）内は筆者意見です。

今週の注目情報
- 第23回Elasticsearch勉強会
- JJUGナイトセミナー「Elasticsearch特集」
  - Elastic Stackで始めるJavaアプリのパフォーマンス監視 / Intro Elastic Stack and Elastic APM Java
  - はじめてのElasticsearchクラスタ
公式ブログ
ウェビナー
- Prepare and Protect GDPR Data using Elastic Stack
- Optimizing your Machine Learning Jobs in Elasticsearch | Elastic
Qiita
- Logstashを用いてMS SQL ServerのデータをElasticsearchに登録するための設定方法 - Qiita
- Elasticsearch + KibanaをDocker Composeで動かす - Qiita
その他ブログ記事など

今週の注目情報

今週はElasticsearchに関連する勉強会が2つ開催されました。その際の発表資料を紹介します。

第23回Elasticsearch勉強会

What's new in Elastic Stack 6.3
第23回Elasticsarch勉強会で発表した6.3の新機能の紹介スライドです。 Webinarの録画ビデオではデモもありますので、参考にしていただければと。 https://www.elastic.co/jp/webinars/elastic-stack-6-3

難易度：★★☆
Elasticさんの大谷さんによるスライドです
- Elastic Stack6.3の新機能紹介をされています
- デモはElasticの大輪さんが担当し、KibanaのElastic Map Serviceで日本の都道府県区域に応じたリージョンマップなどを可視化されていました
  - その内容は今週のElastic公式ブログ記事「「日本の都道府県区域に応じたRegionMapを作成する」」で詳細を確認することができます
- また、今後の勉強会の開催についてはユースケース別かつ毎月開催する可能性があることを仄めかしていました

Elasticsearch workshop 23_sql
第23回 Elasticsearch勉強会の資料です。タイトル：「Elasticsearch SQLで何ができるか整理してみた」

難易度：★★☆
Acroquest Technologyの樋口慎さんによるスライドです
- Elasticsearch SQLについてREST APIでの実行および、CLIによる実行方法などを紹介されています
- また、「第23回 Elasticsearch勉強会で発表して来ました」という記事で発表報告も書かれています

Elasticsearchに関連する最新ネット情報を収集する方法 / How to collect latest web information related to elasticsearch
第23回 Elasticsearch勉強会の発表資料です。勉強会の詳細はこちら https://www.meetup.com/ja-JP/Tokyo-Elastic-Fantastics/events/252456268/

難易度：☆☆☆
NTTテクノクロスの山下城司さんによるスライドです
- RSSフィード、Twitter検索、Googleアラートの情報をIFTTT経由でDiscordに通知し、Elasticsearchに関する最新情報を一か所に集約する方法を紹介しています
- そして、その情報をブログにまとめて毎週更新していると…うん、何処かで聞いたような……

【京都開催】Elasticsearch勉強会 #elasticsearchjp
2018年8月2日(木) 19:00: 「京都」で開催します。東京ではないのでご注意ください19時になるとビルの正面入り口のシャッターが下ります。向かって左手の通りにある通用口からお入りください。通用口が閉まっている場合にはインターホンから「801」を呼びだしてください。スピーカー募集中です。興味のある方は、メンバーページの「オーガナイザーへコンタクトする」より連絡か、https://twitte

ちなみに今週には、はてなさんのオフィスをお借りして「Elasticsearch勉強会@京都」を開催されるそうです…が、まだまだ席に余裕がありそうです！

私が京都に居たらぜひ参加したかったのですが…このブログを閲覧されている方で京都近辺在住の方がいらっしゃいましたら、ぜひ参加検討のほど、してみてはいかがでしょうか。

JJUGナイトセミナー「Elasticsearch特集」

Elastic Stackで始めるJavaアプリのパフォーマンス監視 / Intro Elastic Stack and Elastic APM Java
2018/07/25のJJUG ナイトセミナーで使用したスライドになります。サンプルアプリ、Beats系の設定は以下のGitHub リポジトリで公開してます。 https://github.com/johtani/apm-beats-kubernetes-demo/

難易度：★★☆
Elasticの大谷さんによるスライドです
- Elastic APMのJavaエージェントを使用し、k8s上にデプロイしたSpring Bootアプリのパフォーマンス情報を取得する方法を紹介しています
  - デモで使用したコードのリポジトリはこちら
- また、前半ではJJUGに来られたElastic Stackをまだ知らない方に向けて各種プロダクトの簡易説明を記載しています
- なお、補足記事「JJUGナイトセミナーで話しました」も書かれているので、こちらも参照ください

はじめてのElasticsearchクラスタ
The First Elasticsearch Cluster 2018-07-25 JJUG ナイトセミナー「Elasticsearch特集」

難易度：★★★
- Elasticsearchの内部動作に対する理解
Acroquest Technologyの束野仁政さんによるスライドです
- 前半でElasticsearchのクラスタリングの仕組みを簡単に説明し、後半で「本番運用前にやっておくべきこと」と題して、本番運用での代表的なトラブル事例とその解決策を紹介しています
  - （私は「まさにこんな実践に則した内容が聞きたかった！」と膝を打ちましたが、会場に居たElasticsearchをご存知ない方には、かなりDeep Diveに見えた気がしますｗ）
- また、「JJUGナイトセミナーで「はじめてのElasticsearchクラスタ」を発表しました」という記事で発表報告も書かれています

その他、以下の方がJJUGナイトセミナーの感想ブログを書かれています
- id:yasayさん
  - http://xblood.hatenablog.com/entry/2018/07/26/225734
- id:setysさん
  - http://setys.hatenablog.com/entry/2018/07/26/010608

公式ブログ

NEWS

Elastic{ON} Tour 2018: We're Taking the Elasticsearch User Conference on the Road
Join us in one of 30 cities around the world for an Elastic{ON} event tailored to your Elasticsearch journey. Find an event near you. It has been truly humbling to spend time with everyone who has had the chance to attend Elastic{ON}, the Elasticsearch user conference, in San Francisco over the last four years.

難易度：☆☆☆
ElasticのCEO、Shay Banonさんによる記事です
- 今後のElastic{ON}について「年に1回、サンフランシスコでの大きなカンファレンスを開催する代わりに、より多くの（30以上の）国でElastic{ON}Tourを直接開催していく」方針に変更することを公表しています

Welcome Insight.io to the Elastic Team
A note from Shay Banon Today, we welcome another fantastic team to the Elastic family. We are joining forces with Insight.io, creators of a modern source code search platform used by thousands of developers around the world.

難易度：☆☆☆
Shay Banon • Chongzhe Li • Fuyao Zhao • Mengwei Dingさんらによる記事です
- ソースコード検索プラットフォームであるinsight.ioがElasticファミリーにジョインすることを公表しました
  - insight.ioはIDEに搭載されているような(コードジャンプ機能や重複定義の指摘などの)コードインテリジェンス機能をクラウド上のソースコードに対して実行可能なサービスです

ENGINEERING

Elastic Stack 6.3.0 and 6.3.1 May Disable Security for Trial Licenses
If you are currently using a trial license with Elastic Stack 6.2.x or earlier, your X-Pack security functionality may be disabled when upgrading to 6.3.0 or 6.3.1. Previous to version 6.3.0, X-Pack could be downloaded and installed to extend the functionality of the Elastic Stack.

難易度：★★☆
Josh Bressersさんによる記事です
- Elastic Stack 6.2.x以前でX-Packの試用版ライセンスを使用している場合、6.3.0または6.3.1にアップグレードした際、X-Packのセキュリティ機能が無効になるバグがあることを注意喚起しています
- 回避策
  - バグ対処された6.3.2を使用する
  - その際、elasticsearch.ymlにxpack.security.enabled: trueを明示的に記載する必要がある

How to Build Application Search with Ruby on Rails (Sample Code)
When people interact with their computer or phone, often times it looks like this: activate the screen, open the browser, type cryptic strings into an empty search bar, scan the results for a moment, then click on a top result. Search has given tremendous power to Internet users.

難易度：★★★
- Elastic App Search Serviceに対する理解
- Ruby on Railsに対する理解
Kellen Person • James Ruckerさんらによる記事です
- Elastic App Search Service(Swiftype App Search)を活用して、Ruby gemを検索するrailsアプリを作成する方法を紹介しています
- こちらからデモアプリにアクセスできます

RELEASES

リリースブログはありませんでしたが、サイレントに6.3.2がリリースされていました

Elastic Stack Updates

This Week in Elasticsearch and Apache Lucene - 2018-07-27
Ingest Processors We have recently undertaken an effort to add significant functionality to the ingest node feature of Elasticsearch.

難易度：★★★
- 既存のElasticsearchの機能に対する理解
Tom Callahan • Adrien Grand • Boaz Leskes • Jay Modi • Colin Goodheart-Smithe • Jason Tedorさんらによる記事です
- 最近のElasticsearchとApache Luceneに対するアップデートサマリ
- Elasticsearch
  - 幾つかのingest pipelineの改良が進行中
  - 「Weighted Average Aggregation」の追加
    - 加重平均を算出するAggregation
  - ロールアップ機能のバグを修正中
  - 様々なセキュリティ機能を統合
  - ナノ秒のタイムスタンプを有効にできるようにする予定
  - Zen2 node discovery機能のPRを開始
  - SQL用の文字列サポート関数（CONCAT, LEFT, RIGHT, REPEAT, POSITION, LOCATE, REPLACE, SUBSTRING, INSERT）を追加中
- Apache Lucene
  - ヒット数をデフォルトで無効に
  - ReqOptSumScorerの最適化
  - LatLonPointがlucene-coreに昇格
  - SegmentReaderがソフト削除とハード削除の両方を公開するように
  - getSubMatches()メソッドが追加

ウェビナー

Prepare and Protect GDPR Data using Elastic Stack
Sabyasachi Gupta, aka Sabby, has been working in the software industry for his entire career. Sabby has performed multiple roles - starting as a Software Engineer and then managing projects to architecting startup products and leading and managing high-performance agile product teams. He has experience in multiple business domains like healthcare, media, airline, financial, and more.

難易度：★★☆
ZaloniのSabyasachi Guptaさんによるウェビナーです
- Elastic StackにおいてGDPR対応をする場合、どのようにすべきかを紹介しています
- 章立ては以下です　※（）内は再生時間
  - GDPR入門（4:00～）
    - GDPRとは何か（4:00～）
    - どのようなデータが対象となるか（07:36～）
    - ユーザ（データサブジェクト）の権利とは（09:14～）
    - 「私はGDPR対応をすべきでしょうか？」（12:54～）
  - GDPR対応の3つのステージについて（14:12～）
  - GDPR対応の各ステージで、どのようにElastic Stackが対応できるか（23:23～）
    - Prepare（25:31～）
    - Protect（28:25～）
    - Enforce privacy process（39:00～）
（また、Elastic Stackに関するGDPR対応に関しては過去幾つかの記事が存在します）

Optimizing your Machine Learning Jobs in Elasticsearch | Elastic
Joining the Elastic team from the Prelert acquisition, Rich has over 20 years experience as a Solutions Architect / Pre-Sales Systems Engineer for software, hardware, and service-based solutions. Rich's technical specialties include: Big data analytics, Machine learning, Anomaly detection, Threat detection, Security Operations, Application Performance Management, Web Applications, and Contact Center Technologies.

ElasticのThomas GrabowskiさんとRich Collierさんによるウェビナーです
- X-Pack Machine Learningの使用方法をNYタクシー乗降データを対象として学ぶ内容になっています
  - （基本的な使い方などはElastic公式ブログの大輪さんによる記事「ニューヨーク市のタクシー乗降データでMachine Learningを体験する」や、同様に大輪さんによるウェビナー「時系列データの異常検知実践入門」を見た方が、日本語のため分かりやすいと思います）
- （その他、上記では学べない内容として今回のウェビナーでは以下が紹介されています）
  - Saved Searchに対するMachine Learningを実行する（19:27～）
    - 異常値などを取り除いたSaved Searchを作成しておくことで、ETLの面倒さが緩和される
  - 6.2.0から追加されたCalendar Management機能を使って祝日などを設定する（27:12～）
    - これにより、祝日に乗降数が減少する事象を異常ではなくす
  - Time Series Visual Builderのannotationで異常な箇所を表示する（43:10～）

Qiita

Logstashを用いてMS SQL ServerのデータをElasticsearchに登録するための設定方法 - Qiita
目標 Windows環境でSQLServerのデータをkibanaで見えるようにするための環境を構築すること ※kibanaの使い方等は含みません。単純にデータが登録された所までの記事になります。 ## 環境+使用ツール - ...

難易度：★☆☆
@yukiqさんによる記事です
- Windows環境でMS SQL ServerのデータをLogstash経由でElasticsearchに投入する方法を紹介しています

Elasticsearch + KibanaをDocker Composeで動かす - Qiita
Docker Compose`を利用して、`Elasticsearch`を3ノード1クラスタ構成で起動させた - `Kibana`も立ち上げて、`Elasticsearch`と連携させた - `Docker Compose`の設...

難易度：★☆☆
@sugikeitterさんによる記事です
- kuromoji入りのElasticsearchクラスタ3台とKibanaを立ち上げるdocker-composeでデプロイする方法を紹介しています

その他ブログ記事など

日本語

ELKで始めるElasticStack6入門 (Elasticsearch, Kibana, Logstash)
ELKで始めるElasticStack6入門 (Elasticsearch, Kibana, Logstash)

難易度：★☆☆
Wedding Parkの菅原さんによる記事です
- Elasticsearch / Logstash / Kibanaについて入門者向けに基本的なコンセプトと使い方を紹介しています

DockerでElasticSearchを試す1 | ハックノート
DockerでElasticSearchを使って見ます。

難易度：★☆☆
ハックノートのtakayasuさんによる記事です
- Elastic公式ドキュメントに則ってElasticsearchのDockerコンテナを起動する方法を紹介しています

docker-composeでのRails環境にElasticsearchを組み込む - ウェブエンジニア珍道中
dockerを用いたRailsの開発環境に新たにElasticsearhを組み込んだのでまとめます。

難易度：★☆☆
id:te-nuさんによる記事です
- docker-composeでRails環境をデプロイしている場合に、どのようにすればElasticsearch+Kibanaを追加できるか紹介しています

elasticsearch-railsからElasticsearchの設定を変更する方法 - patorashのブログ
Elasticsaerchのインポートを速くしたいと思って現在試行錯誤しているのだけれど、全然速くならなかったので一旦コードを元に戻そうかと思っている。しかし、設定を変更するための仕方を調べるの結構手間取ったので、とりあえずそれだけ残しておく。 Foo.__elasticsearch__.client.indices.put_settings( index: Foo.index_name ...

難易度：★☆☆
id:patorashさんによる記事です
- elasticsearch-railsからElasticsearchのindex設定を変更する方法を紹介しています

英語

Learn How to Perform Load Testing in Elasticsearch - DZone Performance
In this article, we will learn to create and run a load test on Elasticsearch with Apache JMeter™. We will create a search request and monitor the results, the relevance of results and the errors if there are any. We will also mention the most common problems that can be identified by means of stress testing.

難易度：★★★
- JMeterに対する理解
Roman Aladevさんによる記事です
- JMeterを使用してElasticsearchに負荷リクエストをかける方法を紹介しています

Apache Solr / Elasticsearch: How to Manage Multi-term Concepts out of the Box?
This flash blog post will address a very specific and common problem : how to manage entities/concepts composed by multiple terms in a vanilla Apache Solr/Elasticsearch instance ( no plugins or extensions to install). An Elasticsearch or Apache Solr infrastructure where you cannot install third-party components (e.g. plugins, filters, query parsers).

難易度：★★★
- Multi-word Synonymsに対する理解
ANDREA GAZZARINIさんによる記事です
- USAやUnited States of Americaなど表記揺れを吸収する仕組みとしてMulti-Word Synonymsを使用する方法を紹介しています
- （この記事だけでは理解が難しかったので、Definitive GuideのMultiword Synonyms and Phrase Queriesを読むと良いです）

Squeezing performance out of Elasticsearch
Lately my colleague Michał described how he tracked a Java memory leak. Although that problem was completely solved, new complications suddenly appeared on the horizon. As it usually happens, everything started with an alert from our monitoring system which woke me up in the middle of the night.

難易度：★★☆
Dorian Sarnowskiさんによる記事です
- MongoDBからデータを取得し、Elasticsearchへインデクシングするシステムで、ある日からインデクシングに20分かかるようになった、その原因を探求していく内容になっています
  - 数カ月前、インデクシングにかかる時間は2分であり、ドキュメントの数も3～4倍程度にしか増加していないため、20分もかかることはないはずである
  - また、データをストリーミングしていたため、プロセスのどの部分が処理を遅くしているか分からなかった
    - メトリックを見ても、原因は分からない
  - 様々な観点から設定を変更してみたが、最終的に発覚した問題は深いネストを持つインデックス構造にあった
    - 試しに、そのフィールドを登録しないようにしたところ4.5分で登録が完了した
    - 現在は、ネストを削除し、すべてフラットな構造に変更している
- （物語調で非常に読みやすいです）

A Guide to Deploy Elasticsearch Cluster on Google Kubernetes Engine
This is a simple guide that helps you to deploy Elasticsearch cluster on Google Kubernetes Engine. This guide should be relevant on any Kubernetes cluster with a simple tweak on the persistent volume part. The overall step-by-step is like the following: Enable the persistent volume via Storage Classes.

難易度：★★★
- k8sに対する理解
- ただ実行するだけなら★☆☆
Bayu Aldi Yansyahさんによる記事です
- GKE(Google Kubernetes Engine)にElasticsearchクラスタをデプロイする方法を紹介しています

Deprecation of Compose for Elasticsearch 2.4.6 - IBM Cloud Blog
IBM Cloud Compose will be ending support and hosting of Elasticsearch 2.4.6 and earlier versions over the coming months.

難易度：☆☆☆
DJ Walker-Morganさんによる記事です
- IBMクラウドで提供されるElasticsearchについて2.4.6より以前のバージョン提供を終了するとのことです
  - 2018/07/31：この日以降、2.4.6以前のバージョンのElasticsearchインスタンスを新規作成できなくなる
  - 2018/10/31：この日までに全てのインスタンスを5.x以降にアップグレードする必要あり

Deduplicating documents in Elasticsearch
Overview In this blog post we cover how to detect and remove duplicate documents from Elasticsearch by using either Logstash or alternatively by using custom code written in Python. Example document structure For the purposes of this blog post, we assume that the documents in the Elasticsearch cluster have the following structure.

難易度：★★☆
Alexander Marquardtさんによる記事です
- Logstashのfingerprint filterを使用して既存のインデックス内の重複ドキュメントを取り除く方法を紹介しています
- また、よりメモリ効率の良い方法としてPython スクリプトで実現する方法も紹介しています

Remote Query Elasticsearch on Kubernetes
Developing on our local workstations has always been a conceptual challenge for my team when it comes to remote data access. Local workstation-based development of services that intend to connect to a wide range of remote services that may have no options for external connections poses a challenge.

難易度：★☆☆
Craig Johnstonさんによる記事です
- localhostのポートとk8sのポートを繋げる方法を解説しています

Elasticsearch Essential Queries
The following is an overview for querying Elasticsearch. Over the years I have tried to assemble developer notes for myself and my team on a variety of platforms, languages and frameworks, a type of cheat-sheet but with context, not a comprehensive how-to, but a decent 15-minute overview of the features we are most likely to implement in a given iteration.

難易度：★☆☆
引き続き、Craig Johnstonさんによる記事です
- Elasticsearchの各種REST APIに対する操作方法を紹介しています
  - インデックスの削除/作成/更新
  - 検索
    - Range / Filter
  - Aggregation
    - count / average / max / min / percentile / percentile rank / histgram

Creating An Elasticsearch Cluster | Elasticsearch Deep Dive | Linux Academy
Wanting to dive deep into Elasticsearch? Check out our in-depth, hands-on course on Elasticsearch Deep Dive at: https://linuxacademy.com/devops/training/course/name/elastic-certified-engineer =============== The Elasticsearch Deep Dive course will give you an understanding on the core functionality of Elasticsearch. Get hands-on experience with installing, indexing and querying through 12 hands-on labs.

難易度：★☆☆
Linux AcademyのMyles Youngさんによる動画です
- Elasticsearch Deep Diveという講座の一部であるElasticsearchのクラスタリング設定についてデモする動画です
  - この動画とCreating An Elasticsearch Cluster Part IIのみがお試し動画として公開されています

nGram filtering for Elasticsearch in Drupal 8
A powerful content search can be built in Drupal 8 using the Search API and Elasticsearch Connector modules. Out of the box, you get the ability to select which entities, fields, and properties are indexed into an Elasticsearch index. You also have the ability to tailor the filters and analyzers for each field from the admin interface under the "Processors" tab.

難易度：★★★
- Drupalに対する理解
BLUEOAKINTERACTIVEさんによる記事です
- Drupal 8とElasticsearchを連携させる際にn-gram filterを設定する方法を紹介しています

Install ELK as Centralized Logfile Management Server on CentOS 7
This tutorial explains how to setup a centralized logfile management server using ELK stack on CentOS 7. As anyone who not already know, ELK is the combination of 3 services: ElasticSearch, Logstash, and Kibana. To build a complete centralized log management server using this concept, it would require to have each of this package as it's serve a different purpose and related to each other.

難易度：★☆☆
shahril bin kamaruzzamanさんによる記事です
- CentOS 7にElasticsearch / Logstash / Kibanaをインストールする方法を紹介しています

日本語、英語以外の言語

Searching Images in Elasticsearch using Luminoth

難易度：★★★
- Luminothに対する理解
tryo labsのAgustín Azzinnariさんによる記事です（スペイン語）
- Python製の深層学習画像認識ライブラリであるLuminothを使用して、Elasticsearch内の画像をキーワード検索する方法を紹介しています
- （GitHubにデモアプリのdocker-composeがコミットされているので、気になる方は動作確認してみると良いです）

今週は以上です。

"No matter where you go, everybody's elastic."

2018-07-22

今週のElastic News (2018/07/15～2018/07/21)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今週の注目情報
公式ブログ
- ENGINEERING
- Elastic Stack Updates
公式ウェビナー
- Integrating Data Stores with Elasticsearch | Elastic
Qiita
その他ブログ記事など
先週の漏れ
- Leveraging Elasticsearch and Fuzzy String Matching to Find Duplicated Data
- Kibana Single Sign-On with OpenID and Keycloak | Search Guard

今週の注目情報

今週はCraig Johnstonさんによる、k8s上で可用性の高いElasticsearch+Kibana環境を構築する一連のポストが非常に有用だと感じました。

他にk8s上にElasticsearchクラスタを構築するリファレンスとしてはpires/kubernetes-elasticsearch-clusterなどがある模様。

Production Grade Elasticsearch on Kubernetes
Installing production ready, Elasticsearch 6.2 on Kubernetes requires a hand full of simple configurations. The following guide is a high-level overview of an installation process using Elastic's recommendations for best practices. The Github project kubernetes-elasticsearch-cluster is used for the Elastic Docker container and built to operate Elasticsearch with nodes dedicated as Master, Data, and Client/Ingest.

Craig Johnstonさんによる記事です
- 以下のステップに則ってk8sでElasticsearchクラスタを構成する手順を紹介しています
  1. 名前空間を作成
  2. アクセスとセキュリティ用にRBAC認証を設定
  3. Master/Data/Ingestそれぞれのノード用サービスを設定
  4. Dataノードを管理するStatefulSetを設定
  5. MasterノードのDeploymentを設定
  6. ClientノードとIngestノードのDeploymentを設定
  7. 動作確認

Kibana on Kubernetes
This guide walks through a process for setting up Kibana within a namespace on a Kubernetes cluster. If you followed along with Production Grade Elasticsearch on Kubernetes then aside from personal or corporate preferences, little modifications are necessary for the configurations below.

引き続き、Craig Johnstonさんによる記事です
- 以下のステップに則ってk8s上に認証機能付き+HTTPS通信のKibanaをデプロイする方法を紹介しています
  1. 名前空間を作成
  2. サービスを設定
  3. kibana.ymlのConfigMap作成
  4. Deploymentの設定
  5. Basic認証設定（任意）
  6. TLS証明書設定（任意）
  7. Ingress設定
- 先の記事と合わせることでElasticsearch+Kibanaの環境をk8s上に構築できます

High Traffic JSON Data into Elasticsearch on Kubernetes
IOT devices, Point-of-Sale systems, application events or any client that sends data destined for indexing in Elasticsearch often need to send and forget, however, unless that data is of low value there needs to be assurance that arrives at its final destination. Back-pressure and database outages can pose a considerable threat to data integrity.

引き続き引き続き、Craig Johnstonさんによる記事です
- k8s上のElasticsearchへ高トラフィックなJSONデータが送られてくる場合を想定し、rxtxとrtbeatを使用して可用性を高める案を紹介しています

公式ブログ

ENGINEERING

Integrating Nagios Checks with Logstash
Nagios is an open-source monitoring platform wherein users can write plugins or download a wide range of community plugins to accomplish highly customized monitoring goals. A while back, I wrote about how you can integrate any Nagios plugin into the Elastic Stack by using a plugin for Beats called NagioscheckBeat.

Jay Greenbergさんによる記事です
- Nagiosの監視結果を取得するlogstash-input-nagioscheck プラグインの紹介をしています
- また、コミュニティBeatsとしてnagioscheckbeatが存在することも紹介しています

SAML based Single Sign-On with Elasticsearch and Azure Active Directory
With the release of the SAML realm within X-Pack security feature of Elasticsearch 6.2, implementing Single Sign-On (SSO) with a SAML 2.0 compliant identity provider is now just a simple case of configuration. We've written previously about how to enable SAML authentication in Kibana and Elasticsearch.

Russ Camさんによる記事です
- 新たに追加された「Elastic Azure Resource Manager (ARM) template」機能を使用して、Azure Active Directoryと連携したSAML SSOを実現する方法を紹介しています
  - 通常のSAML認証設定方法については先週の記事「How to enable SAML authentication in Kibana and Elasticsearch | Elastic」を参照してください

An Introduction to Elasticsearch SQL with Practical Examples - Part 1
The version 6.3 release of the Elastic Stack represented one of the most feature rich releases in recent memory. If the opening of X-Pack and addition of rollups weren't enough to get you excited, we announced the addition of SQL support as a experimental feature.

Dale McDiarmidさんによる記事です
- Elasticsearch SQLの使い方について幾つものクエリ例を記載して紹介しています
  - 実装の仕組み（アーキテクチャ）についても少しだけ図解されています
- demo.elastic.co で試してください、と何度も繰り返されているように、自分で環境とデータを用意する必要なく、クエリを試すことができるようになっています（なんと親切な！）

An Introduction to Elasticsearch SQL with Practical Examples - Part 2
In Part 1 of this Introduction to Elasticsearch SQL series, we provided a gentle introduction to the new Elasticsearch SQL feature as well as the _translate API. This specific post continues the series by exploring more complex features. After that, we'll look at some of the current limitations a user is likely to encounter with this initial release of SQL.

引き続き、Dale McDiarmidさんによる記事です
- パート2では、パート1よりも応用的なクエリについての紹介と、現時点で通常のSQLと比較し制限されていることは何であるか、そして将来的なアップデートで何をできるようにしていくか、を紹介しています
- （パート1とパート2を実践すれば、現時点のElasticsearch SQLについてはほぼ理解できた、といっても過言ではないのでは…という良記事です！）

Elastic Stack Updates

Brewing in Beats: Load Auditbeat rules from a configuration directory
Welcome to Brewing in Beats! With these weekly series, we're keeping you up to date with what's new in Beats, including the latest commits and releases. Did you know that Beats 6.3 is already available? Try it and let us know what you think. Auditbeat is getting support for loading audit rules from /etc/auditbeat/audit.rules.d/*.conf.

Monica Sarbuさんによる記事です
- 最近のBeatsのアップデートサマリ
  - Auditbeatでauditdルールを別々のファイルで指定できるようになります
  - Metricbeat 6.4以降でk8sモジュールはモニターされているリソースからメタデータ（labelsとannotations）を含むすべてのメトリックを自動的に追加するようになる

Logstash Lines: Towards supporting NFS
Welcome to Logstash Lines! With these weekly series, we're keeping you up to date with what's new in Logstash, including the latest commits and releases. Did you know that Logstash 6.3 is already available? Try it and let us know what you think.

Monica Sarbuさんによる記事です
- 最近のLogstashのアップデートサマリ
  - logstash-input-fileプラグインでNFSなどリモートマウントされているファイルのサポートを追加した

This Week in Elasticsearch and Apache Lucene - 2018-07-20
Field aliases We have merged a new field aliases feature which allows users to specify a new alias field type. This new field type points has a property, "path", which points to a different field and will resolve to that field whenever it is used in search and aggregations.

Tom Callahan • Adrien Grand • Boaz Leskes • Jay Modi • Colin Goodheart-Smithe • Jason Tedorさんらによる記事です
- 最近のElasticsearchとApache Luceneのアップデートサマリ
  - field alias機能が追加された
    - 異なるフィールドをpathで指定すると、検索や集計で使用されるたびに、そのフィールドに解決されるようになる
    - フィールド名のみが変更されている場合に古いマッピングから新しいマッピングに移行する必要なく、古いスキーマを使用するアプリケーションでもそのまま使用できるようになる
  - Kerberos認証のmerge準備が完了
  - Zen2のPoCは最終段階
  - JDK10を使用している場合、AVX-512をサポートしているマシン(Skylake Xなど)にバグが発生する
    - 回避策はJVMオプションに-XX:UseAVX=2を指定すること
  - 実メモリ使用量に基づいたCircuit-breakの仕組みを導入することで、使用できるヒープ領域を拡大（70%->95%）
  - 検索キューが既にいっぱいであってもフェッチタスクを強制的にキューに追加する変更を加えた
  - インデックスレベルでロールアップ機能を利用できるようになった

公式ウェビナー

Integrating Data Stores with Elasticsearch | Elastic
Join Nathan Zamecnik, Senior Elastic Education Manager, for an overview of extracting data from a database, transforming and enriching it, and loading it into Elasticsearch. Content for this webinar is taken in part from Elastic's recently launched training specialization courses.

Nathan Zamecnikさんによるウェビナーです
- 以下の章立てでブログの検索機能としてElasticsearchを使用する場合、RDBMSなどのData StoreとElasticsearchを統合する方法を紹介しています
  1. (2:55～)Elasticsearch and Databases
  2. (13:00～)Data Modeling
  3. (28:02～)Synchronizing DBs with Elasticsearch
  4. (39:23～)その他宣伝とQ&A
- Elasticsearch Certified Engineerになった後の（！？）新しいコースとして幾つかのSpecialization Traningを作成中
  - Logging
  - Search
  - Security Analytics
  - Data Science
  - Metrics/APM...
- その中のSearch Specializationコース全4章のうち、最初の3章の内容をこのウェビナーで紹介する
  - なお、デモ部分はオミットしてあるため、その部分が気になる人はSpecializationコースを受講してほしい、とのこと

Qiita

子供を守る、SquidguardとELKスタックで作るネットフィルタリングシステム - Qiita
背景近頃の子供たちは、小学生のうちからタブレットやスマフォに慣れ親しんでいて、その活用の仕方も大人顔負けのようです。習い事に電車で通う子供たちは必ずと言っていいほどスマフォを携帯していて、乗り換え案内や待ち時間の暇つぶしにスマフ...

@tkeneixさんによる記事です
- SquidguardとElastic Stackを組み合わせたdocker-composeパッケージ「docker-squidguard-elk」を紹介しています

ElasticsearchのDynamicTemplateのメモ - Qiita
Elasticsearchを使う機会があって、 DynamicTemplateを使用したので、そのときのメモです。メモなので雑です。 DynamicTemplateは、elasticsearchにデータをアップロードする際、 el...

@yutako0217さんによる記事です
- ElasticsearchのDynamicTemplateについて、どういうもので、どう使えばよいのか紹介しています

elasticsearch-rest-high-level-client の dependency を pom.xml に書くときの注意 - Qiita
java プログラムからElasticsearcのREST API を呼び出すために、公式サイトの説明のとおり、pom.xml に以下の記述を追加しました。 org.el...

@windturtleさんによる記事です
- Mavenのpom.xmlにおける依存関係の記述でelasticsearch-rest-high-level-clientのverを指定するだけではなく、elasticsearchのverも明示的に指定する必要があることを紹介しています

ICPでIngress Controllerのアクセスログを有効にする - Qiita
IBM Cloud PrivateでIngressのアクセスログを有効にするメモ。以下を参考にする。 [Configuring Ingress Controller on IBM Cloud Private](https://d...

@sotoiwaさんによる記事です
- IBM Cloud PrivateでIngress Controllerのアクセスログを有効にし、LogstashでIngressのログだけを別ファイルとして出力する方法を紹介しています

ElasticSearch+Logstash+Kibanaで作るTwitter分析ダッシュボード作成手順まとめ - Qiita
はじめに今回はElasticSearchとKibanaを使った、Twitter ダッシュボードの作成方法についての解説しています。ElasticSearchに関する前提知識はなくても、最後までたどり着ける構成になっている(はず?...

@koyamauchiさんによる記事です
- logstash-input-twitter プラグインでTwitterつぶやき情報をElasticsearchに投入し、Kibanaで可視化するダッシュボード例を紹介されています

その他ブログ記事など

日本語

アクセスログ収集用Elasticsearchの運用話 - astamuse Lab
こんにちは。インフラ・開発部のtorigakiです。早いもので２回目の投稿となります。弊社はアクセスログの収集・解析にElasticsearchを使用しているのですが、今回はこのElasticsearchの運用環境について書きたいと思います。

astamuseのtorigakiさんによる記事です
- アクセスログ収集用に使われているElasticsearchについて以下のような運用にまつわる話を紹介しています
  - システム構成
  - Nginxによるアクセスバランシング
  - cronによる定期実行内容
  - 環境を移設する際に必要だった作業内容

EC2 上の Kibana にも認証機能を追加する | Developers.IO
2018年4月に Amazon Elasticsearch Service の Kibana に Cognito を使って認証機能を付与できるようになりました。 Amazon Elasticsearch Service の Kibana にログイン機能を追加できるようになりました私が今関わっているプロダクトは Amazon Elasticsearch Service では要件が合わず、EC2 上で Elasticsearch クラスタを構築しています。基本的には全文検索用途なのですが、Console による API 発行だったり、データビューアとしてだったり、X-Pack のモニタリングだったり Kibana を利用しています。ただお客様情報も入っているため、セキュリティグループによる IPアドレス制御だけではセキュリティとしては物足りません。そこで ALB の認証機能を使って、Kibana on EC2 に認証を追加しました。

クラスメソッドの藤本真司さんによる記事です
- ALBとCognito User Poolを組み合わせてEC2上のKibanaに認証を追加する方法を紹介しています

Elasticsearchで多言語検索対応してみた話.pdf

MedPeerの佐藤元紀さんによるスライドです
- ElasticsearchのSynonym Token Filter+専用辞書を活用して、海外医学文献情報のDBであるPubMedから英文ドキュメントの日本語検索を実現する方法を紹介しています

自宅でKibanaを最大限に活用してみる #1 - tshohe's memo
自宅でのElastic Stack活用事例その1 ルータのsyslog可視化我が家のBaffalo製ルータ（WSR-2533DHP）だとsyslogを他ホストに転送できます。詳細設定 > 管理 > ログ ...

id:tshoheさんによる記事です
- 自宅でKibanaを活用できる案としてルータのsyslogをElasticsearchに転送し、可視化する案を紹介しています

GoogleのCloud LauncherがGCP Marketplaceと改名、コンテナアプリケーションのデプロイもサポート | TechCrunch Japan
Cloud ...

Frederic Lardinoisさんによる記事の日本語訳です
- GoogleのCloud LancherがGCP Marketplaceと改名し、コンテナアプリケーションのデプロイが数クリックで可能になりました
  - その中にはもちろんElasticsearchも含まれています
  - また、将来的にGoogleのk8s engineだけではなく他のk8sへのデプロイもサポートする予定とのこと（？）

初心者のためのElasticsearchその1 | Developers.IO
Developers.IOは、AWS、iOS/Androidアプリ、ビッグデータ、Alexa等の最新技術情報からリモートワークや働き方に関する記事まで多彩なトピックを紹介するクラスメソッドのオウンドメディアです。

クラスメソッドの中村修太さんによる記事です
- まだElasticsearchを使用したことのない初心者の方に向けてドキュメントの作成、検索、削除のAPI実行方法を紹介しています

英語

Securing AWS Elasticsearch Service by enabling Cognito Authentication
In this blog, we are discussing on enabling the Authentication for Elasticsearch / Kibana. Recently, AWS announced the Cognito Authentication support for Elasticsearch (link in the References section below). We have implemented the same thing in our scenario too. This article will cover how one can access the Kibana endpoint and elasticsearch endpoint securely which exists in private subnet.

Priyanka Sharmaさんによる記事です
- AWS Elasticsearch ServiceにCognito認証を追加する方法を紹介しています
  - (オリジナルサービスロゴを載せた認証ページを簡単に作れるのは良いですね)
- また、Cognito認証を有効にしたAmazon ESにcurlを実行するのにaws-es-curlの使用を薦めています

Put your Drupal Search on Steroids with Elasticsearch | Opensense Labs
Modern applications are expected to be equipped with powerful search engines. Drupal provides a core search module that is capable of doing a basic keyword search by querying the database. When it comes to storing and retrieving data, databases are very efficient and reliable. They can be also used for basic filtering and aggregating of data.

Ramanさんによる記事です
- Drupalの検索機能をElasticsearchで置き換える方法を紹介しています
  - (2種類の方法を紹介していますが、Elasticsearchに慣れていれば後者の方が分かりやすそうですね)
  - (DrupalはPHP製のオープンソース CMSで、WordpressやMovabletypeのライバル的存在です)

Marco Lancini
Have you ever been in a network penetration test where the scope is so huge you end up with dozens of files containing Nmap scan results, each of which, in turn, contains a multitude of hosts? If the answer is yes, you might be interested in this blog post.

Marco Lanciniさんによる記事です
- Logstashでnmapデータを読み取り、Elasticsearchに投入する方法を紹介しています
- また、Kibanaのvisualization/dashboard例をdashboard.jsonとしてアップロードしています

Netcool To Elasticsearch Use Case 1: Security Orchestration of Suspicious Activity Using VirtuOps Pilot | Automate IT Processes and Incident Response
We recently published an article about how you can send Netcool Events to Elasticsearch using VirtuOps®. Now the obvious question: other than having another historical database, what do I with this integration? This article will be the first in a series of posts that describe why putting your monitoring data into Elasticsearch and leveraging VirtuOps® Pilot orchestration and automation is a value add for any business.

VirtuOpsのChristopher Schaftさんによる記事です
- 同社製のVirtuOps Pilotを使用してNetcoolからElasticsearchに投入されるイベントを活用したセキュリティオーケストレーションを実現する方法を紹介しています
- （実際にワークフローが解説されていますが、Packetbeatなども活用されていて面白いです）

Optimizing Elasticsearch - How many shards per index?
Avoid performance problems by getting your shard allocation right. When Elasticsearch users create an index, the most important question they have is, "How many shards should I use?" In this video, we'll teach you how to optimize your sharding strategy. You'll also learn how design and performance are impacted by the number of shards you use.

Elasticsearchのホストサービスを提供するQboxによる動画です
- この動画では、Elasticsearchにおいて、indexあたり、shard数を幾つに設定すればよいか？関連知識と共に解説しています
- また、今週は他に幾つかのElasticsearchに関する動画を投稿しています

EvtxToElk: A Python Module to Load Windows Event Logs into ElasticSearch

DRAGOSのDan Gunter & Marc Seitzさんによる記事です
- 最近の脅威捜索では以下のような環境でなされることが多い
  - インターネット帯域幅が限られた環境
  - データ用に承認されたハードウェアリソース用のラップトップを使う
  - 提供されるデータセットは".evtx"ファイルとして格納された5～6GBのWindowsイベントログ
- このような環境でも活用できる".evtx"ファイルからWindowsのイベントログをElasticsearchに投入するPythonモジュール、EvtxToElkを紹介しています
  - （Winlogbeatでいいんじゃないの？と思われる方もいらっしゃると思いますが、".evtx"ファイルからWindowsイベントログを取得することは2017/05/17次点ではWinlogbeatでは実現できないことがDiscussの発言から分かります）

Ingesting Log Files into ElasticSearch Using StreamSets Data Collector
This video shows you how use StreamSets Data Collector to ingest log files into ElasticSearch and visualize the data in Kibana.

StreamSetsによる動画です
- 同社製のStreamSets Data Collectorを使用してElasticsearchにデータを投入する方法を紹介しています
  - StreamSets Data CollecterはGUIによる簡単な操作でFluentdやLogstash相当のIndexerを担えるサービスで、Qiitaの@junko_urataさんによる記事「StreamSets Data Collectorの紹介」で分かりやすく紹介されています

英語以外

Uczymy się Elasticsearch #006: trafność - Programista Na Swoim
W poprzednim wpisie kilkukrotnie wspominałem o czymś takim jak trafność otrzymanych rezultatów. Nie wyjaśniłem wtedy zbyt wiele, bo temat zasługuje na poruszenie go w odrębnym artykule. I oto jest. Postaram się teraz wyjaśnić o co w tym wszystkim chodzi. Pamiętaj proszę, że tworząc ten wpis testowałem wszystko na Elasticsearchu w wersji 6.3 (najnowsza jaka w tamtym momencie była dostępna).

Piotr Prądzyńskiさんによる記事です。（ポーランド語）
- この記事は"Uczymy się Elasticsearch"と題したElasticsearchについて解説するシリーズの第6回です
- 今回は_score計算の特性について解説しています

ElasticSearch: Connaître et comprendre les bases - Le blog de la Gagie
Reading Time: 4 minutes Elasticsearch est un moteur de recherche et d'analyse distribué open-source, RESTful, distribué sur Apache Lucene. Depuis la sortie de la première version d'Elasticsearch en 2010, il est rapidement devenu le moteur de recherche le plus populaire. Il est couramment utilisé pour l'analyse des journaux, la recherche en texte intégral et les cas d'utilisation de l'intelligence opérationnelle.

Jean-Vincent Kassiさんによる記事です（フランス語）
- Elasticsearchについて5つの利点、4つのユースケースを概説しています

[ELK] Tìm hiểu dịch vụ Logstash trong hệ thống ELK Stack Logging - Technology Diver
Tìm hiểu dịch vụ Logstash trong hệ thống ELK Stack Logging - Cuongquach.com | Ở bài viết này chúng ta sẽ không đi chi tiết về cách cài đặt Logstash và cách cấu hình xử lý các event log được nhận từ các nguồn log gửi tới.

Quách Chí Cườngさんによる記事です
- Logstashの操作と構造の概要を説明しています

先週の漏れ

Leveraging Elasticsearch and Fuzzy String Matching to Find Duplicated Data
Like any data management software, VTS is only helpful to our users as long as the data within our system is reliable and accurate. But also like any data management system, we are not immune to human error. As new deals and leases are input each day, mistakes are made that can impact data integrity.

View The SpaceのElaina Polsonさんによる記事です
- Elasticsearchのanalyzerにおけるstopwords、検索時に指定するfuzzinessパラメータ、prefixの指定を駆使して、重複データの検索を実現する方法を紹介します
  - 例：StarbuksとStarbuks Corporationが両方とも引っかかるようにする。更に可能であればStarbuxというtypoで検索しても引っかかるようにしたい

Kibana Single Sign-On with OpenID and Keycloak | Search Guard
Search Guard supports OpenID so you can seamlessly connect your Elasticsearch cluster with Identity Providers like Keycloak, Auth0 or Okta. To set up OpenID support, you just need to point Search Guard to the metadata endpoint of your provider, and all relevant configuration information is imported automatically.

Search GuardのJochen Kressinさんによる記事です
- Search GuardとKeycloakを用いてOpenIDによるKibanaのシングルサインオン認証を実現する方法を紹介しています
- （Search GuardのOpenID接続機能はEnterprise版以上でないと使えないため、有償機能の話となります）

今週は以上です。

"WHY SO ELASTIC?"

2018-07-15

今週のElastic News (2018/07/08～2018/07/14)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

各記事における（）内は筆者意見です。

今週の注目情報
- ElastiK Nearest Neighbors - Insight Data
- Elasticsearch-Aknn Image Search Demo
公式ブログ
公式ウェビナー
- Security Analytics with Elasticsearch | Elastic
- Observable Kubernetes with Elasticsearch | Elastic
Qiita
その他ブログ記事など

今週の注目情報

ElastiK Nearest Neighbors - Insight Data
For my Insight Data Engineering project, I built an Elasticsearch plugin to simplify the implementation of large-scale K-Nearest Neighbors (KNN) in online applications. The key features include: Running approximate KNN search on a corpus of 7 million items with sub-second search time and support for many parallel searches.

Alex Klibiszさんによる記事です
- オンラインアプリケーションでK-Nearest Neighborsの実装を簡素化するElasticsearchプラグインを作成したので、それを紹介する…という記事です
  - 主な機能は以下の通り
    - 1秒未満の検索時間と多数の平行検索のサポートを備えた700万件のコーパス上での近似KNN検索の実行
    - コーパスに新しい項目を継続的に追加し、即座に検索を可能にする
    - HTTPエンドポイントを介してすべての機能を公開する
    - アイテムの検索、索引付け、格納のための水平スケーラビリティを有する
  - 現時点では、まだPoCの段階なので今後は以下の改善に取り組むとしています
    - コードをリファクタリングして拡張とテストを容易にする
    - ユークリッド距離のみをサポートしているので他の距離メトリックを追加する
      - 例：コサイン距離
    - KNNクエリを他のクエリと組み合わせられるようにする
      - 例：最近2日間に追加された最近傍のみを検索する
- （Twitterを観測していた限りでは今週はかなりこの記事がバズっていた気がします）
- （K-Nearest Neighborsは機械学習でよく用いられるアルゴリズムの1つで、日本語ではk近傍法と呼ばれます）
  - （具体的なk近傍法の内容については本記事の説明やDevelopers.IOのyoshimさんの記事、Motoya Wakiyamaさんによるスライド、Qiitaの@NoriakiOshitaさんの記事を読めば分かった気になれます）

Elasticsearch-Aknn Image Search Demo
Uploaded by Alex K on 2018-05-13.

同時にアップロードしている動画では、実際にK-NNで類似画像検索する様子をデモしています
- 検索対象画像ファイル数は670万
- 各画像ファイルは1000次元のベクトルで表現
- 検索時間の中央値は200ms程度

公式ブログ

ENGINEERING

Elastic APM Java Agent Beta Released
We are happy to beta release the Java agent for Elastic APM. Kick the tires, let us know what you think as you monitor application performance.

Felix Barnsteinerさんによる記事です
- Elastic AMPのJavaエージェントがβ版になったことを祝し、使い方を紹介しています

Aprendizaje automático para logs de Nginx: Identificar problemas operativos en su sitio web
Obtener información de los archivos de log de nginx puede ser complicado. Este artículo del blog muestra cómo se puede usar el aprendizaje automático para extraer información operativa a partir de grandes volúmenes de datos de log de nginx.

Steve Dodsonさんによる記事です
- 以下記事のスペイン語訳
  - https://www.elastic.co/blog/machine-learning-for-nginx-logs
- nginxのアクセスログに対してX-Pack Machine Learningを適用し、以下3種類の異常検出を行う方法を紹介しています
  - 訪問者数の変化
  - ステータスコードの変化
  - 通常とは異なる接続元IPアドレス

How to Develop Your Own Security Extensions and Custom Realms for Elasticsearch
Elasticsearch provides authentication and authorization capabilities for the Elastic Stack, and has long had the ability to extend these capabilities through X-Pack security extensions. The most common use for these extensions has been to write custom security realms which support authentication mechanisms that are not included natively by X-Pack.

Tim Vernumさんによる記事です
- Elasticsearch6.3以降では標準で提供されていない独自のセキュリティ拡張機能とCustom Realmを、より簡単に定義できるようになりました
- この記事ではeコマースストアのセキュリティ拡張方法についてサンプルコードを交えて紹介しています

Monitoring Kubernetes and Docker Containers with Beats: Logs, Metrics, and Metadata
This blog is about monitoring a container environment - which could include Google Kubernetes Engine (GKE), IBM Cloud Kubernetes Service, and any other Kubernetes (k8s) and Docker environments. For the purposes of this blog, though, I am using the IBM Cloud Kubernetes Service. You might be wondering why I am writing about monitoring Kubernetes and Docker containers.

Dan Roscignoさんによる記事です
- k8sのDaemon SetでBeatsをデプロイし、各Podのログとメトリックを取得する流れを紹介しています
  - （Daemon Setは全てのノードに1つずつ同じPodを動かす機能のこと）

Elastic Stack Updates

Brewing in Beats: Mac installer for Beats
Welcome to Brewing in Beats! With these weekly series, we're keeping you up to date with what's new in Beats, including the latest commits and releases. Did you know that Beats 6.3 is already available? Try it and let us know what you think. We are improving our MacOS integration.

Monica Sarbuさんによる記事です
- ここ最近のBeatsアップデートサマリ。気になるところをピックアップすると…
  - MacOS版のインストーラが実装された
  - Autodiscoveryを使用する場合、hintからprocessorを定義するサポートが追加された

Keeping up with Kibana: This week in Kibana for July 9th, 2018
Welcome to Keeping up with Kibana! This is a series of posts on new developments in the Kibana project and any related learning resources and events. The Elastic Maps Service landing page is now available! This page shows the data behind the vector layers that can be joined to Elasticsearch data in Kibana region maps.

Jin Muさんによる記事です
- 先週1週間のKibanaアップデートサマリ
- 気になった点に絞って紹介
  - Geo
    - Elastic Map Service landing pageが閲覧できるようになりました
      - （日本の都道府県情報がどのように可視化されるかも確認できます！）
  - Canvas
    - チャートの配色について幾つかのパターンからGUIで選択設定できるようになった
    - 関数の呼び出しが大文字、小文字を区別しないようになった
      - "pointseries"でも"pointSeries"でも"PoInTsRiEs"でも同じ機能を呼び出すようになる
  - Platform
    - i18nによるlocalizationについて、Index Patternの翻訳を実施中
  - Management
    - visualizationでRollup Index Patternをサポートすることに取り組んでいる
      - （現在のバージョンではRollupでAggregation結果のみを残した場合、KibanaのVisualizationで可視化することはできません。それを可視化できるようにする話と思われます。）
  - Visualizations
    - EUIの新しいチャートコンポーネントのexperimental版がEUIに統合された
      - EUIドキュメントでマニュアルとサンプルが確認できる
      - Vega Visualizationのフィルタがダッシュボード全体に反映できるようになった
        
        Kibana 6.4から反映される見込み

This Week in Elasticsearch and Apache Lucene - 2018-07-13
Kerberos The kerberos realm has been merged into the feature branch. We are currently working on a QA test that uses an actual KDC. Once the lookup realms feature has been completed, we will need to integrate the kerberos realm with lookup realms but this will not block the completion of the kerberos realm.

Paul Sanwald • Adrien Grand • Boaz Leskes • Jay Modi • Colin Goodheart-Smitheさんらによる記事です
- 先週1週間のElasticsearchとApache Luceneアップデートサマリ
- 気になった点に絞って紹介
  - Kerberos Realmが追加された
    - （Kerberos認証はSSOを提供するネットワーク認証方式の1つらしいです）
    - PRでの記述によればX-Pack Platinumで使用できる模様
  - 構造化されたAudit LoggingのためのPRを進めている
    - Audit Eventに対してlog4j StringMapMessageを使用することで、log4j設定を変更するだけで複数のフォーマットを試せるようになる
  - auto_date_histogramと呼ばれる新たなAggregationをマージした
    - date_histgramのように機能するが、時間間隔を指定するのではなく、バケットの最大数を設定するもの
      - 設定されたバケットの最大数を超えずに最も近い間隔を選択する

RELEASES

Rally 1.0.0 Released: Start Benchmarking your Elasticsearch Clusters
After more than two years in the making and more than 1400 commits from 27 contributors, we are proud to announce the 1.0.0 release of Rally, our benchmarking tool for Elasticsearch. To get started with Rally, check the quickstart in the docs. To help you improve your benchmarks, we also recently published seven tips for better Elasticsearch benchmarks.

Daniel Mitterdorferさんによる記事です
- ElasticsearchのベンチマークツールであるRallyがバージョン1.0.0になったことを報じる記事です
  - 記事の中ではRallyの概要を説明しています
- (Elasticが公開しているElasticsearchの公式ベンチマーク結果もRallyで取得されたものです)
  - https://elasticsearch-benchmarks.elastic.co
  - (また、これらのベンチマークで使用している実行可能なシナリオは一般に公開されており、皆さんの環境で試すことも可能です)
    - https://github.com/elastic/rally-tracks

公式ウェビナー

今週はまだ見れていないので、紹介文の要約のみです。

Security Analytics with Elasticsearch | Elastic
Using a variety of interactive techniques from user behavior tracking to network analysis, this demo highlights many features that make the Elastic Stack the security analytics platform of choice for organizations like Slack, USAA and more.

Samir Bennacerさんによるウェビナーです（52:01）
- Elastic Stackをセキュリティ分析プラットフォームとして使用する際、以下の方法をどのように実現するかデモを交えて紹介しているようです
  - インシデントを迅速に解決する
    - ほぼすべてのWindows Server、Linuxからログデータを簡単に収集、保存、分析できる
  - 即時に洞察（Insight）を得る
    - データセンターから収集されたリアルタイムデータに対してDeep Intelligenceを対話的に得ることができる
    - サーバとアプリケーションの依存関係をマッピングし、接続と対話を検出できる
  - マシンデータを変換する
    - 柔軟な検索とカスタマイズされたアラートでインシデントを素早く処理する

Observable Kubernetes with Elasticsearch | Elastic
With the Kubernetes and Docker module in Beats, sending logs and metrics from your containerization and orchestration environment to Elasticsearch is one command away. Additionally, the Autodiscover feature in Filebeat and Metricbeat dynamically launches configurations to keep monitoring the changing environment without skipping a beat, as pods and services come and go.

Adam Quanさんによるウェビナーです（1:00:14）
- Beatsのk8s moduleとdocker moduleを使用して、各PodのログとメトリックをElasticsearchへ送信する方法をデモを交えて紹介しているようです

Qiita

Grafana5.2.0+でElasticsearch内のデータに対するAlertingを実行し、Discordに通知する - Qiita
2018/6/27にリリースされたGrafana 5.2.0で遂にElasticsearch内のデータに対するAlertingが実行できるようになりました。（リリースノートはこちら）これまではElasticsearchの閾値検知の仕組みとして、X-Pack Alerting以外の選択肢は Elastalert ぐらいでしたが、そこに新たな方法が浮上したことになります。 ...

わたしです^o^
- Grafanaの5.2.1を使用してElasticsearch6.3.1に格納されたデータに対するAlertingを実行する方法を紹介しました

Dockerで動かすTomcatとElasticのAPMを繋いでパフォーマンスを可視化する - Qiita
概要 2018年7月9日に[Elastic APM Java Agent Beta Released](https://www.elastic.co/blog/elastic-apm-java-agent-beta-releas...

@tsgkdtさんによる記事です
- Elastic APM Javaエージェントがβになったことを受けて、Docker上のTomcatコンテナにおけるパフォーマンスを可視化する方法を紹介しています
  - 既存のイメージを再ビルドする必要なく、docker-compose.ymlにおけるtomcat serviceに記述を追記するのみで実現できてお手軽とのこと

EC2にElasticsearch、Fluentd、Kibanaを入れる方法 - Qiita
AWSにElasticsearch Serviceがあるので、そちらが使えれば使った方が良いが今回は勉強の為、あえてEC2にインストールした。あとから思い出しながら書いているので、間違えている箇所があるかも・・。 ## 前提 - ...

@muraponさんによる記事です
- EC2で立ち上げたFedora系OS上にElasticsearch、Kibana、Fluentdをインストールし、Apacheログを投入する方法を紹介しています
  - インストールするElasticsearch、Kibanaのバージョンは5.5.0
  - また、アクセスログのテスト用ログを出力する方法としてapache-loggenを紹介しています

FilebeatでApacheアクセスログの取り込み(レスポンスタイムフィールド追加) - Qiita
Filebeatのapache2モジュールを使用してアクセスログを取り込んだが、デフォルトではレスポンスタイムは取り込まれていないようだったので、取り込むよう対応してみた。とりあえずメモです。 Elasticsearch、Kibana、Filebeatインストール用のリポジトリを配置。 [elasticsearch-6.x] name=Elasticsearch repository for 6.x packages baseurl=https://artifacts.elastic.co/packages/6.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md 下記のものをインストール。 yum install -y java-1.8.0-openjdk-devel elasticsearch kibana filebeat httpd 外部から接続できるよう設定し、Elasticsearchを起動する。 /etc/elasticsearch/elasticsearch.yml - #network.host: 192.168.0.1 + network.host: 0.0.0.0 [root@es ~]# systemctl restart elasticsearch [root@es ~]# curl http://127.0.0.1:9200 { "name" : "4FH6KEs", "cluster_name" : "elasticsearch", "cluster_uuid" :

@wagさんによる記事です
- FilebeatでApacheアクセスログを取り込む際にレスポンスタイムフィールドを追加する方法を紹介しています
  - （私もレスポンスタイムフィールドぐらいFilebeatの取得対象に追加してくれても良いとは思うのですが、Apache2のデフォルトLogFormatには処理時間が出力されない設定になってるんですよね…）

その他ブログ記事など

日本語

Fluentd1.0 で ElasticSearch6.3 に WOWHoneypot のログを投入
送信側サーバ（WOWHoneypot + Fluentd）と受信側サーバ（ElasticSearch + Kibana）の2つのサーバの場合。送信側。 Fluentd のサーバと ElasticSearch のサーバは異なるため、Fluentd -> ElasticSearch という方向でアクセス許可を行う。 AWS のコンソールより、セキュリティグループで fluentd からのアクセスを許可する。 Fluentd サーバから以下のコマンドでアクセスできることを確認する。以下のコマンドは送信側から打つ。 curl http://172.31.31.131:9200 通信が成功したら以下のようなレスポンスが帰ってくる。 { "name" : "0St5H1h", "cluster_name" : "docker-cluster", "cluster_uuid" : "SXj3orxOSAKouZVhxQyKdw", "version" : { "number" : "6.3.1", "build_flavor" : "oss", "build_type" : "tar", "build_hash" : "eb782d0", "build_date" : "2018-06-29T21:59:26.107521Z",

さいきさんによる記事です
- Fluentdを用いてWOWHoneypotのログをElasticsearchに投入するコンフィグ例を紹介しています
- また、受信側サーバと送信側サーバの環境構築については過去のブログ記事で、方法を紹介しています
  - AWS + Docker + Elasticsearch6.3 + Kibana6.3 構築
  - AWS + Ubuntu16.04 + Fluentd1.0 を設定

JANOG41 Wi-Fiチーム報告書3(運用監視ツールの紹介)|IIJ Engineers Blog
こんにちは、JANOG41 NOC(Wi-Fi)チームの金子です。これまでの2回の記事（第1回｜第2回）で紹介してきたように、JANOG41 Wi-Fiチームでは会場無線LANの提供にあたりその構築・運用を行ってきました。運用に当たってはネットワーク状況のモニタリングが必要不可欠です。これにあたりPrometheusやcactiなどOSSベースの監視ツールを活用していることはいわずもがなですが、IIJが開発している機器管理サービス SACMや、データ可視化サービス Machinistを全面的に利用しdogfoodingするというのが我々の基本方針となっています。

JANOG41 NOC(Wi-Fi)チームの金子直矢さんによる記事です
- JANOGで提供されるWi-Fiの運用監視ツールとしてElasticsearch+Kibana（その他OSSや自作可視化ツールもたくさん！）を活用している事例を紹介しています
  - （構成図を見ると主にNetFlowの可視化にElasticsearch+Kibanaを使っていたようです）

AWS Cost Explorer を使用する、Amazon Redshift、Amazon ElastiCache、Amazon Elasticsearch の予約のためのリザーブドインスタンス (RI) 購入推奨へのアクセス
これらの推奨事項を生成するために、Cost Explorerはまずお使いのインスタンスの使用状況を分析して、上記のサービスのそれぞれについて RI で対応できるオンデマンド使用のすべてを自動的に特定します。これに基づいて、Cost Explorer は割引 RI 料金でオンデマンドの使用量の最適な代用となる RI の購入推奨を生成します。推奨事項が組織のニーズに合うことを確実にするために、RI パラメーターと (例: 1 年契約で一部前払いオプションがある RI の推奨のみを返す)、推奨を計算する過去の使用期間 (例: 過去 60 日間) を調整することができます。ビジネスニーズに対応する最適な RI の組み合わせを特定すると、AWS Cost Explorer にあるリンクから個々の AWS サービスのコンソールに直接移動できます。

AWSによるアナウンスです
- Amazon Elasticsearch Serviceの予約のためのリザーブドインスタンス購入推奨にAWS Cost Explorer経由でアクセスできるようになりました
  - Amazon Elasticsearch Serviceを使われている方は費用改善に繋がるかもしれません

当社社員が世界初のElastic Certified Engineerに認定されました | Acroquest Technology株式会社(アクロクエストテクノロジー)
ビッグデータ分析／可視化ソリューション事業を展開するアクロクエストテクノロジー株式会社（本社：神奈川県横浜市、代表取締役：新免流、以下「アクロクエスト」）は、当社社員の吉岡洋（顧客価値創造部門データアナリティクスシニアコンサルタント）が2018年6月29日より開始されたElastic Certificationの認定を取得して、Elastic Certified ...

Acroquest Technologyさんのプレスリリースです
- Acroquestの吉岡さんが、日本人初…どころかElastic社以外のエンジニアとしては世界初のElastic Certified Engineerに認定されました！
  - （まずはトレーニングを受けてから受験しよう、と考える方が多そうな中でチャレンジし、認定されることは凄いことだと思います）

docker-elkを使って過去のCloudTrailのログをサクッと分析してみた | Developers.IO
こんにちは、佐伯です。CloudTrailのログを分析をする機会がありました。どうやって分析しようかなと考えていたところ、GitHubで docker-elk を発見し、お手軽で便利だったので紹介させて頂きます。以下の環境で実施しています。 macOS High Sierra version 10.13.5 Docker CE for Mac version 18.03.1-ce-mac65 Docker Compose version 1.21.1 docker-elk をcloneします。 $ git clone git@github.com:deviantony/docker-elk.git Cloning into 'docker-elk'... remote: Counting objects: 1317, done. remote: Total 1317 (delta 0), reused 0 (delta 0), pack-reused 1317 Receiving objects: 100% (1317/1317), 272.64 KiB | 254.00 KiB/s, done.

クラスメソッドの佐伯さんによる記事です
- docker-elkを活用してCloudTrailログを可視化する方法を紹介しています

英語

Logstash Authentication with SSL certificates
personal blog, profile, whateverest of Benjamin Knofe

Benjamin Knofeさんによる記事です
- BeatsとLogstashの間の通信についてSSL証明書に基づいた独自の認証にする方法を紹介しています

Elasticsearch With Django - Part 4 - BoTree Technologies
In previous articles (Here you can read - part1 part2 and part3) we have seen that how queries work on Elasticsearch engine via terminal. Now let's discuss about integration with Django application. Let's start with creating a new Django project. First you create a virtual environment with virtualenv elastic_env and enter it with source elastic_env/bin/activate in order to keep everything contained.

Daxita Rajputさんによる記事です
- DjangoプロジェクトでElasticsearchと接続する方法を紹介しています
  - 過去4回にわたるポストの最終回

Rated Ranking Evaluator: Help the poor (Search Engineer)
A Software Engineer is always required to give his customers a concrete evidence about deliverables quality. A Search Engineer deals with a specialisation of such generic Software Quality, which is called Search Quality. What is Search Quality? And why is it so important in a search infrastructure?

ANDREA GAZZARINIさんによる記事です
- ElasticsearchやSolrに対する検索の品質を評価するツール「Rated Ranking Evaluator」を紹介しています
  - これを用いることでCIの一環としてビルドする毎に検索品質をテストすることができます

Open Source Elasticsearch Security: Using Cilium for Elasticsearch Access Control with No App/Container Changes
Elasticsearch APIs provide mechanisms for storing and searching JSON documents. Documents are grouped into an index, which typically stores many documents of a single type (e.g., user transaction data, or network access logs). A user of the Elasticsearch API selects an index, and then may create, update, delete, or search documents within that index.

ciliumによる公式記事です
- k8sやDocker上のElasticsearchのアクセス制御（セキュリティ対策）にCiliumを用いることの利点や適用する方法を紹介しています
  - ElasticsearchのセキュリティとしてCeliumを適用する方法は「Getting Started Securing Elasticsearch」に記載されている

Use Amazon Connect data in real time with Elasticsearch and Kibana | Amazon Web Services
In this blog post, we demonstrate how you use Amazon Elasticsearch Service (Amazon ES) and Kibana for real-time analytics for your Amazon Connect contact center. You can monitor your contact center performance to improve a variety of service metrics, such as call times, service level, efficiency, agent performance, and customer satisfaction.

Randall DuBois, Revanth Anireddy, Loc Trinh, Piyush PatelさんらによるAWS公式ブログ記事です
- AWS Connectコンタクトセンターのリアルタイム解析にAmazon ESとKibanaをどのように使用するかを紹介しています

Using Rollup to merge old logs with Elasticsearch 6.3
Auteur(s) : Tags : Log storage and analysis is one of the most popular usage of Elasticsearch today, it's easy and it scales. But quickly enough, adding nodes cost too much money and storing logs from multiple months or years can be tricky.

Damien Alexandreさんによる記事です
- Elasticsearch 6.3から使用可能になったRollup APIで古い日時のログをマージする方法を紹介しています
  - これまではBulk、Scan、Scroll、Delete By Query APIの助けを借りて、古いデータのマージ、削除を手作業で行ってきたが、6.3からはRollup APIでできるようになる
  - Elasticsearch用のテストデータ生成には「elasticsearch-test-dataを使用すると良い
  - 以下のようなジョブを作成後、ジョブを開始する
    - 10日以上経過したdocumentを対象とし、
    - bytesというフィールドのmin、max、sumをaggregationした結果を
    - url.keywordで分割する
  - rollup APIによって処理された結果は_searchAPIではなく_rollup_searchAPIでアクセスする必要がある
  - Rollupされた生データは自動で削除されないため手動で削除する必要がある
    - （これはちょっと大変そうですね…）

Reduce ETL process time 9X with Cassandra and Elasticsearch
A Fortune 1000 company needed to reduce the time it took to ingest, read, and search its data. Read on to learn how partnering with Shadow-Soft helped the company reduce ETL process time 9X and improve search query time 37X.

John Cabanissさんによる記事です
- NoDBとSolrの組み合わせからCassandraとElasticsearchの組み合わせに乗り換えたことによりETL(Extract / Transform / Load)処理時間を1/9に短縮し、検索クエリ時間を1/37に短縮した事例を紹介しています
  - ETLプロセスは3日（24*3=72時間？）から6.5時間に改善
  - 必要なメモリ量は360TBから180TBに改善
  - クエリ時間は7.5秒から0.2秒に改善

Container Native Monitoring Insights with Elastic on IBM Cloud - IBM Cloud Blog
Learn how to easily deploy a Kubernetes cluster in IBM Cloud and layer in the Elastic to provide container native monitoring.

Chris Rosenさんによる記事です
- IBM クラウドにk8s クラスタをデプロイする方法を紹介しています
- その後、具体的にElastic Stackでコンテナ監視をする方法は過去のElasticブログ記事にバトンタッチしています

Miroslav Popovic - Using Elasticsearch with ASP.NET Core and Docker
Recently, I got an assignment for my employer's internal project to investigate Elasticsearch and its usage from within ASP.NET Core 2.1 app. I had no prior knowledge of Elasticsearch, but I had some experience with Solr and earlier with NHibernate Search which also used Lucene under the cover.

Miroslav Popovicさんによる記事です
- ASP.NET CoreアプリでElasticsearchを検索エンジンとして連携する方法を紹介しています
- 方法を紹介した後、最後の段落では以下のようにまとめています
  - ElasticsearchとKibanaのアクセスを公開することは望ましくない
    - X-Pack Authenticate APIとSSL Certificate APIをチェックすること
  - 全てをインデックスに投げ込まずに意味のあるデータだけを投げること
    - データの投入でもパフォーマンスが低下するが最も重要なことは削除する必要があるときに問題になる
    - GDPR対応を考えても、ユーザデータは保護されている必要がある
  - Elasticsearchのドキュメントの品質は凄い
    - APIのリファレンス、スタートガイドのドキュメント、ベストプラクティス、クライアント向けの優れたガイドがある

それ以外の言語

Retour d'incident : Elasticsearch, l'aggrégation Histogram et la validation de données
Une de nos application a pour principe de base de rechercher dans notre base de données de livres, cette application reçoit des données de notre ERP pour les ajouter dans Elasticsearch. Pendant plusieurs minutes au cours du mois dernier cette application était indisponible en production, nous allons ici vous expliquer les raisons de cette indisponibilité.

Par Adrien Gallouさんによる記事です（フランス語）
- 2018年5月の午後に、書籍データベースを検索するElasticsearchが本番環境で使用できなくなるほど減速するインシデントが発生。何が起こったのか、と解決策を紹介しています
  - 書籍の価格について、ヒストグラム集計で5€ごとのバケットに個数を集計していた
  - そこで、9,782,321,011.392,00€の商品が投入された結果、5€ずつ1,956,464,200,000個のバケットが作成されてしまった
    - 殆どのバケットは空のバケットであり、ドキュメント個数は0になる
  - 解決のためにminimum_doc_countを1にする設定を加えた
    - これにより、空のバケットは表示されなくなる

Деплой Elasticsearch на AWS с помощью Kubernetes за 10 шагов
Kubernetes aka k8s - это система с открытым исходным кодом для автоматизации развертывания, масштабирования и управления контейнерными приложениями. В этой статье я расскажу как настроить кластер Kubernetes и развернуть на нем кластер Elasticsearch в AWS. Эти настройки также работают на GCE и Azure.

Southbridgeさんによる記事です
- k8sクラスタを構成し、AWSでElasticsearchクラスタを展開する方法を10個のステップで紹介しています
  1. 各種ツールのインストール
  2. IAMユーザの作成
  3. S3バケットの作成
  4. 最初のk8s クラスタの作成
  5. クラスタの確認
  6. StatefulSetによる展開
  7. サービス
  8. アプリケーションを作成する
  9. Elasticsearchクラスタのテスト
  10. k8s Healingのテスト

Elasticsearch Soruları - Haydar Külekci - Medium
Uzun zamandır Elasticsearch konusunda e-posta ya da çeşitli sosyal mecralar üzerinden gelen soruları kapalı kapılar ardında cevaplamaya çalıştım. Bazılarına yetişemedim bazılarına kısa kısa cevaplayabildim. Her gelen soruda biraz daha heyecanlanarak ve testler denemeler yaparak cevaplar yazdım. Bazılarına gist olarak cevap yazarken bazılarını blog yazısına çevirdim. Ancak bazı sorular aralarda kaldı ve onları bir kenara yazamamıştım.

Haydar Külekciさんによる記事です（トルコ語）
- これまでElasticsearchについての質問に電子メールやSNSを通じて答えてきたHaydar Külekciさんですが、その内容をGitHubリポジトリにまとめられたことを紹介しています
  - GitHub - hkulekci/elasticsearch-sorular: Elasticsearch konusunda gelen sorular ve cevapları

Небольшие трюки с Elasticsearch
Небольшая заметка, скорее для себя, о мелких трюках по восстановлению данных в Elasticsearch. Как починить красный индекс если нет бэкапа, что делать если удалил документы, а копии не осталось - к сожалению в официальной документации об этих возможностях умалчивают. Первое, что необходимо сделать, это настроить бэкапы важных данных.

divanikusさんによる記事です（ロシア語）
- Elasticsearchで誤ってインデックスを削除してしまった場合、かつバックアップも保持していない場合やインデックスが破損してしまった場合にどのようにインデックスを復旧させるか？を紹介している記事です
  - インデックスが破損（Red）してしまった場合
    - インデックスをcloseし、Elasticsearchを停止、失敗したシャードのバックアップコピーを作成する
    - バックアップしたシャードに対してLuceneのCheckIndexを実行させると、すべてのインデックスをチェックし、破損したセグメントを削除する
      - 一部のデータは失われてしまうが、幸運なことに全てではない
  - インデックスを誤って削除してしまった場合
    - インデックスをcloseし、Elasticsearchを停止、インデックス（ファイル）を安全な場所にコピーする
    - Lucene4（Elasticsearch1.6）より下のバージョンの頃にはLucene APIにundeleteAllという関数があって、Lukeから直接呼び出すことができた
      - しかし、新しいバージョンでは機能が削除されているので、手動で「segments_N」というファイルをバイナリエディタで編集することで対応する
- （こんな目に合わないよう、しっかりバックアップを取っておかないと…という気持ちにさせてくれる良いポストでしたｗ）

Nextcloud Volltext-Index mit Docker und Elasticsearch - nerdblog
Nachdem meine Nextcloud (siehe Installationsanleitung hier) seit einiger Zeit gut läuft, landen mehr Dateien darauf und der Wunsch nach einem schnellen Nextcloud Volltext-Index wächst. Ich bildete mir zwar ein, das schonmal am Laufen gehabt zu haben, aber das tat es nicht (mehr). Daher hier, was ich dazu nun getan habe.

Dirk Steinkopfさんによる記事です（ドイツ語）
- Nextcloudの全文検索機能としてDockerで用意したElasticsearchコンテナを連携する方法を紹介しています

今週は以上です。

"Everything that lives is designed to be elastic."

2018-07-08

今週のElastic News (2018/07/01～2018/07/07)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

親知らずを抜いたばかりで各種やる気ゲージが…🤢

今週の注目情報
- Get started with Amazon Elasticsearch Service: T-shirt-size your domain | Amazon Web Services
公式ブログ
公式ウェビナー
- Introdução aos Beats (Portuguese) | Elastic
Qiita
その他ブログ記事など
先週の漏れ
- GraphDB 8.6 by Ontotext now with Enterprise Ready Security

今週の注目情報

Get started with Amazon Elasticsearch Service: T-shirt-size your domain | Amazon Web Services
Welcome to this introductory series on Elasticsearch and Amazon Elasticsearch Service (Amazon ES). In this and future blog posts, we provide the basic information that you need to get started with Elasticsearch on AWS. Introduction When you're spinning up your first Amazon Elasticsearch Service domain, you need to configure the instance types and count, decide [...]

検索技術に特化したAWSソリューションアーキテクトであるJon Handlerさんによる記事です（twitterのユーザネームも@_searchgeekとかでヤバい）
- Amazon Elasticsearch SerivceでどのInstance構成を選べばよいか、を表形式で紹介しています
  - これ、ドキュメントとかに書いても良いぐらい重宝しそうな方針なのですが…
  - とにかくリンク先の表を見てください！話はそれからだ。
- 以下の項目に基づいて算出していきます
  - 投入される1日あたりのデータ量
  - 必要なストレージ（最大保持データ）サイズ
  - active shardsの最大数
  - total shardsの最大数
- ただし、注釈として書かれている通り、「この表は多くの前提に基づいたガイドラインであり、各自のワークロードは異なる。導入・監視・調整を必ず行うこと！」には注意が必要です
- なお、XSmallでもデータノードがM4/R4.large 2台、マスターノードがm3.medium 3台となっており、ガチガチにプロダクション環境を想定している感じです
  - Hugeに至ってはデータノードがI3.16xlarge 85台と、かなり震える感じの数字も…

公式ブログ

ENGINEERING

¿Debo usar Logstash o los nodos de ingesta de Elasticsearch?
Los nodos de ingesta se presentaron con Elasticsearch 5.0 como una forma de procesar documentos en Elasticsearch antes de la indexación. Estos nodos dan lugar a arquitecturas más sencillas con un mínimo número de componentes, en las que las aplicaciones envían datos directamente a Elasticsearch para procesar e indexar.

Christian Dahlqvistさんによる記事です
- ユーザからよく質問されるトピックシリーズ第3弾
- 今回は「LogstashとIngest Nodeのどちらを使用すべきか？」という問いについて、観点別に違いを紹介しています

Elasticsearch Service on Elastic Cloud Available on G-Cloud Digital Marketplace
We are pleased to announce that Elasticsearch Service on Elastic Cloud is now available on the UK Government's G-Cloud Framework. As of July 2, 2018, customers can begin purchasing Elasticsearch Service - the only official hosted Elasticsearch and Kibana offering by the creators of the Elastic Stack.

Janica Leeさんによる記事です
- G-CloudのDigital MarketplaceでElasticsearch Service（on Elastic Cloud）を購入することができるようになりました
  - G-Cloudは英国政府が運営するクラウドホストサービスの調達用フレームワーク
    - このサービスを通して「Elastic Cloud」使いたいんだけど？と注文すれば、速やかにその準備が行われるというもの
    - 英国政府機関がクラウドサービスを調達する際はG-Cloudを通して調達する模様

Elastic Stack Updates

Keeping up with Kibana: The week of July 2nd, 2018
Welcome to Keeping up with Kibana! This is a series of posts on new developments in the Kibana project and related learning resources and events. EMS now publishes four new data layers with administrative subdivisions: Australia States Switzerland Cantons Japan Prefectures Irish Counties Features in these layers contain the corresponding ISO-3166-2 identifiers, and have field names in the official language (or languages) of the country.

Lee Drengenbergさんによる記事です
- 先週1週間のKibanaアップデートサマリ
- 気になった点に絞って紹介
  - ReactコンポーネントとAngularテンプレートの翻訳をサポートするi18nエンジンをマージした
    - （ダッシュボードのi18n対応もできるようになったりするんでしょうか？）
  - EMS(Elastic Map Service)が下記の国について、より細かい区分に対応するように
    - 対応国
      - オーストラリア：州
      - スイス：州
      - 日本：都道府県
        
        （これはうれしい！）
      - アイルランド：州
    - 国の公用語のフィールドもあり、それを使用した地域マップも構築可能
  - Elastic{ON}でディスプレイされていたマップデモを再現できるように、新たなGISプラグインを作成中
    - GISは指す意味は恐らくGeographic Information Systemと思われ、このあたりを参照すると意味が理解できます

This Week in Elasticsearch and Apache Lucene - 2018-07-07
Highlights We have added documentation for painless script contexts, which includes each place in the Elasticsearch APIs that a script may be used, as well as what variables are available in each of those contexts. As part of our ingest node work, we have added a "bytes" processor that converts human readable byte sizes (e.g., 1kb) to raw byte sizes (e.g., 1024).

Tom Callahan • Paul Sanwald • Boaz Leskes • Ryan Ernst • Adrien Grandさんらによる記事です
- 先週1週間のElasticsearchアップデートサマリ
- 気になった点に絞って紹介
  - Painless Scriptが使える可能性のあるドキュメントまとめページが追加された
  - Ingest NodeのプロセッサとしてBytes Processorが追加
    - 人間が読めるバイトサイズを生のバイトサイズに変換するもの
    - 「1kb →1024」の変換が可能になる
  - AWS session tokensのサポートを追加
    - Elasticsearch 6.4.0からはrepository-s3-pluginを通して、EC2の外からでもMFAセキュアなS3バケットにスナップショット/リストアすることができるようになる

RELEASES

Elastic Stack 6.3.1 released
Version 6.3.1 of the Elastic Stack has been released today, incorporating a couple of major bug fixes. Rolling upgrades from Elasticsearch 5.6.10 to 6.3.0 were broken when a synced flush was performed prior to upgrade. 6.3.1 includes the fix. 6.3.0 nodes would fail to join a security-enabled cluster unless security was explicitly enabled on the node.

David Robertsさんによる記事です
- マイナーバグフィックスバージョンであるElastic Stack6.3.1がリリース

公式ウェビナー

Introdução aos Beats (Portuguese) | Elastic
Beats são uma família de transportadores leves que enviam dados de edge machines (ou máquinas de "borda") para o Elasticsearch. Começaram com o Packetbeat, voltado para dados de rede, e se expandiram para cinco Elastic Beats adicionais para arquivos de registro, métricas, dados de auditoria, registros de eventos por meio de janelas e monitoramento de disponibilidade, e mais de 40 Beats criados pela comunidade para todos os tipos de dados operacionais.

Michael Yuanさんによるウェビナーです（ポルトガル語）
- 各種Beatsの概説とデモを実施しています
  - 00:00～：　Beats概説、FilebeatとMetricbeatの紹介
  - 12:40～：　FilebeatとMetricbeatのデモ
  - 28:10～：　Auditbeat概説
  - 38:00～：　Auditbeatのデモ
  - 46:50～：　コンテナ上でのBeats（Metadata processors）概説
  - 57:20～：　Docker、k8sに対するBeatsのデモ
- ポルトガル語なので何を喋っているのか全く聞き取れませんが、スライドは英語なので、ご安心ください

Qiita

はじめての Elasticsearch - Qiita
この記事は全文検索エンジン「[Elasticsearch](https://www.elastic.co/jp/products/elasticsearch)」の入門チュートリアルです。公式のチュートリアルビデオ「[Elastic...

@nskydivingさんによる記事です
- お世話になった方も多いと思われる「はじめてのElasticsearch」が6.3.0に対応した内容に更新されました
- まだ使ったことがない、これから使い始める方は必見です！

apache のリバースプロキシ for kibana - Qiita
ネットワーク環境の制限などでkibana を80 番ポートで受けるための設定 * kibana 用のconf ファイルを作成 ```/etc/httpd/conf.d/kibana.conf ProxyRequests Off P...

@nunbubuさんによる記事です
- Kibanaを80番ポートで受ける際のApacheコンフィグ例を紹介されています

docker-composeでElasticSearch6.2を構築してECSにデプロイするまで(後編) - Qiita
img width="693" alt="画像 2018-07-06 14.10.11.png" src="https://qiita-image-store.s3.amazonaws.com/0/261265/429986c6-5...

@yasumonさんによる記事です
- Amazon ECS上にElasticsearchコンテナ、Kibanaコンテナをデプロイする方法を紹介されています
- スクショ多くて分かりやすいです！

fluentd+Elasticsearch+kibanaをCentOS7.4にインストール - Qiita
CentOS7.4にfluentd、Elasticsearch、kibanaをインストールしてデータを可視化できる基盤を構築する。データを食わすところまでは未実施。まずはインストールしてKibanaにアクセスできるところまで...

@yuki476さんによる記事です
- CentOS7.4にfluentd、Elasticsearch、Kibanaをインストールする方法を紹介しています

その他ブログ記事など

日本語

HPEのOSS技術コンサルタント惣道哲也が執筆！「Elasticsearch実践ガイド」
哲也（そうどうてつや）が、「HPEでOSSの技術コンサルティングを幅広く手掛ける惣道 Elasticsearch実践ガイド」を出版しました。はたして、Elasticsearchとは、どのようなソフトウェアなのでしょうか？今回は、Elasitcsearchについて少しだけ触れてみます。 Elasticsearch はShay Banon によって2010 ...

日本HPのMasazumi Kogaさんによる記事です
- 同社の惣道さんが執筆された「Elasticsearch実践ガイド」の出版に際して、Elasticsearchとは何か、書籍を読むことで何が得られるか、を紹介されています

LogStashでMySQLのデータをElasticSearchに流し込んだ | from umentu import stupid
MySQLに集めたものの、どうしたら良いの状態だったため。 Logstash から/usr/local/binにダウンロードしてインストール。ElasticSearchのバージョンに合わせる必要あり？ https://dev.mysql.com/downloads/connector/j/からダウンロードしてサーバーにアップロード ...

umentuさんによる記事です
- Logstashのjdbc input pluginを使用してMySQLのデータをElasticsearchに投入する方法を紹介しています

英語

Learnings from Migration to Elastic Search - Tokopedia Engineering - Medium
When we tried to move to Elasticsearch, we didn't know much about elasticsearch. While migrating, we faced some issues (performance, optimization etc.). Following are some of the lessons learnt: Machine Specification Initially, we tried to deploy machines with high Memory because we assumed Apache Solr and Elasticsearch machine requirements will be similar.

インドネシアの巨大EC2サービスを運営するTokopediaによる記事です
- 過去5年間、検索エンジンとしてApache Solrを使用していましたが、データ件数が増えるにあたって性能に問題が出るようになってきた
- そこで、Elasticsearchに乗り換えたところ、性能面を大幅に改善できた、という話です
  - 記事の最後に移行前と移行後のレイテンシとCPU使用率のグラフが張られていますが、明らかに大幅な改善がなされています
  - ただし、Elasticsearchならではの特性を理解してパフォーマンスチューニングすることが必要があり、その際の教訓をいくつか紹介しています
    - Solrとは違い、メモリを大きくするよりも高速なディスクを使用することが重要
    - 巨大なインデックスではfielddataよりもdoc_valuesの方が優れている
    - 必要がない限りネストされたマッピングを使用しない
    - カスタムtokenizerはdoc_valuesを無効にするので使わない
      - 並べ替えや集計をする場合はindexerにカスタムtokenizerを作成する
        
        （具体的にはどういうことか分からなかった）
    - 使用可能なすべてのキャッシュを使用可能にする

Laravel Elasticsearch Tutorial Example From Scratch
Laravel Elasticsearch Tutorial Example From Scratch is the today's leading topic. For this example, we use the composer package called Elasticquent. It is called Elasticsearch for Eloquent Laravel Models. Elasticquent makes working with and models easier by mapping them to Elasticsearch types.

Krunalさんによる記事です
- Elasticquentというパッケージを使用し、LaravelとElasticsearchを連携させる方法を紹介しています

Vue Elasticsearch Tutorial With Node.js From Scratch
Vue Elasticsearch Tutorial With Node.js From Scratch is today's leading topic. We build a frontend in Vue.js and then send a network request to the node.js server and node will query the data to the elastic server. It will get a response and send the JSON response back to the Vue.js client.

引き続き、Krunalさんによる記事です
- Vue.jsでElasticsearchにデータを投入、検索できるアプリケーションを作成する方法を紹介しています

AWS Podcast | Listen & Learn About AWS
Government & EducationPublic Sector organizations use AWS to improve agility while reducing costs.

Simon ElishaさんによるAWS公式Podcastです
- ここ1年のAmazon Elasticsearch Serviceにおけるアップデートを振り返る回です
  - ゲストは今週注目の記事を書いていたAWS検索おじさんことJon Handlerさん
- 聞いてはいないですが、Shownotesを眺めるだけでも最近のAmazon ESのことが追えて良い感じです

Sending Netcool and Service Now to Elasticsearch
This video will show you how to send Netcool Events and ServiceNow Tickets to Elastic search using VirtuOps Pilot

VirtuOpsによる動画です
- NetcoolのイベントとServiceNowのチケットを同社製のVirtuOps Pilotを使用してElasticsearchに投入する方法を紹介しています

Time series data management in Elasticsearch
In this blog post, we'd like to outline how we defined policies for time series data management in Elasticsearch. As part of an IoT security solution built for a startup client, we have a typical real-time data processing pipeline: data from sensors is received into Kafka topics and consumed by a Spark streaming application which performs a chain of ETL operations before persisting them onto Elasticsearch.

cognitreeのSumit Sutharさんによる記事です
- Elasticsearchのデータ保管期間を管理する方法としてCuratorによるアクション定義を幾つか紹介しています
  - indicesの削除とforcemerge実行の2種類

The No-BS guide to AutoComplete and FuzzySearch in Elasticsearch
The question is.. What brings you here? Fed up with all the searches on how to back-up and restore specific indices? Fear not, for your search quest ends here.! After going through a dozens of tiny gists and manual pages, here it is.. We've done all the heavy-lifting for you.

Sathya sarathiさんによる記事です
- N-gram Tokenizerで設定するmin-gramを最小に、max_gramを巨大にすることでautocompleteを実現する方法を紹介しています

Demystifying ELK stack
Let's assume that your system consists of a few microservices. Everything must have high availability so each microservice has at least two active instances on separate machines and everything must be multiplied by the number of testing and production related environments.

CEZARY PITEKさんによる記事です
- Elastic Stackの利用を開始するにあたって、チームメンバが全員知っておく必要がある前提知識がまとめられています
- DockerでElastic Stackをデプロイする方法として以下2種類が紹介されています
  - sebp/elk - Docker Hub
    - 全てのサービスが単一のイメージにされている
  - GitHub - deviantony/docker-elk: The ELK stack powered by Docker and Compose.
    - それぞれDockerfileで分割されており、プラグインのインストール、コンフィグ修正などが容易

hook-commands: easy driver setup
The hook-commands() option of syslog-ng makes it easy to execute external commands when a driver is started or stopped. For example, you can open a port in the firewall when a network source is started and close it once syslog-ng is shut down. Or you...

Peter Czanikさんによる記事です
- syslog-ngでauditdのファイルシステム監査結果をElasticsearchに出力する方法を紹介しています

Elasticsearch to Prometheus Exporter in Go
This post describes how to create a small Go HTTP server, which is able to expose data from Elasticsearch on a Prometheus /metrics endpoint. This can be useful if, for example, you collect logs of a web application using the ELK stack, in which case the logs will be saved in Elasticsearch.

Marioさんによる記事です
- Elasticsearchに対してクエリを投げ、得られた結果をPrometheusにメトリックとして追加する方法をGo言語で紹介しています

Categorizing and Enriching Security Events in an ELK with the Help of Sysmon and ATT&CK
Lately, I have been working on a few projects such as I also had the opportunity to present with One of the challenges that I faced with Sysmon was the fact that even though I was able to collect data and categorize events by the specific Thanks to the recent update to In this post, I will show you a basic example of Sysmon rule tagging and how you can scale it with the right parser in solutions like OSSEM, HELK and @_devonkerr_ from Endgame at BSidesCharm at the beginning of the year about "Quantifying Your Hunt".

Roberto Rodriguezさんによる記事です
- ATT&CKの情報を元にSysmonのルールを規定し、出力されたEventに対して、LogstashのKv filter pluginでパース、Elasticsearchに投入する方法を紹介しています
  - （具体的なコンフィグは提示されていないので、示されているワークフローを理解し、手を動かす必要がありそうです）
- なお、著者のRoberto Rodriguezさんは幾つかのセキュリティ系PJにコミットされている方です
  - GitHub - Cyb3rWard0g/HELK: The Hunting ELK
    - Threat Huntingを目的としたElastic Stackを活用したプロダクト
      - Threat Huntingについてはid:security_consultantさんの記事などが詳しいです
        
        Threat Huntingとは何か？（その１） - セキュリティコンサルタントの日誌から
  - GitHub - Cyb3rWard0g/ThreatHunter-Playbook: A Threat hunter's playbook to aid the development of techniques and hypothesis for hunting campaigns.
    - Threat Hunterのための、脅威発生時のイベント連鎖を定義したドキュメント群
      - これを参考にしてSplunk、Elastic Stack、Sigma、GrayLogのアラート設定を行うことができる
  - その他さまざまなセキュリティに関連するリポジトリを管理されています

英語以外

Uczymy się Elasticsearch #005: wyszukiwanie pełnotekstowe - Programista Na Swoim
Wyszukiwanie pełnotekstowe (ang. full-text search) było czymś, co staraliśmy się osiągnąć w pierwszym projekcie, w którym zdecydowaliśmy się na użycie Elasticsearcha. Szybko okazało się, że pełnotekstowo można w nim wyszukiwać na 7 różnych sposobów. Dziś chciałbym przedstawić pokrótce każdy z nich.

Piotr Prądzyński さんによる記事です（ポーランド語）
- "Uczymy się Elasticsearch"と題したElasticsearchについて解説するシリーズの第5回です
- 今回はElasticsearchに対して_search APIに対してどのような種類のクエリを投げられるかを紹介しています

干货 | Elasticsearch 趋势科技实战分享笔记
null

铭毅天下さんによる記事です（中国語）
- インデックスのデザインをする際に考えるべきこと、Primary ShardとReplica Shardの個数をどの程度に設定すればよいか、についてステップバイステップで設計方法を紹介しています
- なお、この記事はスライド「ElasticLog with ES in CloudEdge」の内容を一部抜粋したものです

Sauvegarder et restaurer des index dans Elasticsearch - Zwindler's Reflection
Un développeur s'est dit "J'ai BESOIN d'Elasticsearch !" Et ce qui devait arriver, arriva. Du jour au lendemain, vous n'avez pas eu le temps de dire "ouf" et vous avez déjà une base Elasticsearch à maintenir en production ! Dure vie des #Ops ;-) On va apprendre comment sauvegarder et restaurer des données dans ELK...

Zwindlerさんによる記事です（フランス語）
- Elasticsearchのインデックスをバックアップ/リストアする方法を紹介しています
- 実際にはCuratorで自動化した方が良いよ、と閉めています

Миграция данных ElasticSearch без потерь
Академическое проектирование хранилища данных рекомендует держать все в нормализованной форме, со связями между. Тогда накат изменений по реляционной математике даст надежное хранилище с поддержкой транзакций. Atomicity, Consistency, Isolation, Durability - вот это все. Иначе говоря, хранилище специально строится для безопасного обновления данных. Но оно вовсе не оптимально для поиска, особенно широким жестом по таблицам и полям.

Oleg Kunitsynさんによる記事です（ロシア語）
- Reindex APIでインデックスAからインデックスBに移行するとき、Reindex処理を開始した後にインデックスAに変更処理を走らせてもインデックスBにはその内容は反映されない問題があります
  - （通常は、その問題を回避するために、Reindex中はインデックスAに変更を加えないようにすると思います）
- この記事ではelasticsearch-followup-pluginを使用して、その問題を解決する方法を紹介しています
  - Reindex開始とともにFollowUp PluginがインデックスAに対するINDEX/UPDATE/DELETEなどの履歴を記録、Reindex完了と共に、それらの履歴をインデックスBに反映する
- そのほか、ElasticsearchのデスクトップクライアントであるKaizenであるインデックスの一部フィールドのみを引き継いだインデックスをクローンする方法などを紹介しています

先週の漏れ

GraphDB 8.6 by Ontotext now with Enterprise Ready Security
Ontotext works continuously to improve its semantic graph database and is now happy to announce the release of GraphDB 8.6 with new security features that make operating with your data not just easier and faster but more secure.

GraphDBのElasticsearchコネクタがElasticsearch 6.xに対応したようです
- Graph DBはVertex（頂点）とEdge（辺）で関係を表現できるグラフデータベースです
  - X-Pack Graphとの違いはこちらなどを参照してください
- なお、ElasticsearchコネクタはGraphDB Enterprise Editionでないと使えないようなので有償です
  - 無償で関係を可視化するには「GitHub - dlumbrer/kbn_network: Network Plugin for Kibana」あたりが選択肢でしょうか

今週は以上です。

Easy elastic, easy life!

2018-07-01

今週のElastic News (2018/06/24～2018/06/30)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

なお、思うところあり、今週から説明を少なめにしていきます。リンク集ぐらいのノリにしていこうかな、と。（もっと文章を減らしてミニマルにしていきたい。）

今週の注目情報
- Official Certification for Users of Elasticsearch | Elastic
公式ブログ
公式ウェビナー
- Logstash Use Case - Ingesting csv files into Elasticsearch | Elastic
- Elastic Stack 6.3 新機能紹介ライブウェビナー
Qiita
その他ブログ記事など
- 日本語
  - Elasticsearch/Kibanaを6.2.2から6.3.0にupgradeした - wyukawa's blog
- 英語
先週の漏れ
- Elasticsearch6.3のインストールと考察 - やさぐれSEの技術メモ

今週の注目情報

Official Certification for Users of Elasticsearch | Elastic
You mastered Elasticsearch, now it's time to enhance your professional visibility and grow opportunities for your company by becoming Elastic certified.

Elastic製品に精通していることを証明する公式資格「Elastic Certified Engineer」が受けられるようになりました
試験の特徴は以下です
- 受験料は1回 400.00 USD
- 実際にElastic Stackが構築された環境に対してタスクを実行する実践的な試験である
  - 四択から選ぶようなペーパーテストではない
- 言語は英語
- 試験環境は簡単にSSHできるように構成されたLinuxベースのプラットフォームである
  - コンフィグ編集などはemacs/vimなどのコマンドラインテキストエディタで行う
- 試験中、参照できるテキストはElasticのドキュメントのみである
  - インターネットを検索したりその他、外部の資料を閲覧することはできない
- 試験の場所は静かで孤立した場所であればどこでもよい
  - 個人コンピュータにWEBカメラを接続し、そのビュー（360度）を試験監督者に見せることで、証明とする
  - 自身の周辺に物（ペン、紙、本など）を置くことは許容されない

公式ブログ

ENGINEERING

Monitoring Java applications with Metricbeat and Jolokia
The Java Virtual Machine (JVM) features a complete framework for operational management and monitoring. In this post we will see what JMX (Java Management eXtensions) is, how to explore the information it exposes and how to take advantage of it with Jolokia and the Elastic Stack.

Jaime Sorianoさんによる記事です
- MetricbeatとJolokiaを組み合わせて、JMXのメトリクスを収集したり、Javaアプリケーションのモニタリングをする方法を紹介しています

¿Cuántos shards debo tener en mi cluster de Elasticsearch?
Elasticsearch es una plataforma muy versátil que admite una gran variedad de casos de uso y ofrece gran flexibilidad en torno a la organización de datos y las estrategias de replicación. No obstante, esta flexibilidad a veces puede hacer que sea difícil determinar de antemano cómo organizar mejor sus datos en índices y shards, especialmente si Elastic Stack es nuevo para usted.

Christian Dahlqvistさんによる記事です
- コミュニティベースの質問で「Shardの設定はどのようにすればよいか？」とよく聞かれるため、今回まとめ記事を作ったとのこと
- 結論の中では「Definitive Guideを読みましょう」ということと「ユースケースに依存するのでSubscription契約して当社にサポートを求めてください」と締めています
珍しくスペイン語の記事がトップに来ていて！？となりました

How to Search Chinese, Japanese, and Korean Text with Elasticsearch 6.2 - Part 3: Language Detector
This is Part 3 of my series on searching Chinese, Japanese, and Korean text. If you haven't read Part 1 about Analyzers, you may want to start there. If you have, How to Search Chinese, Japanese, and Korean Text with Elasticsearch 6.2 - Part 2: Multi-fields introduced multi-fields to index and search documents written in multiple languages.

Kiju Kimさんによる記事です
- elasticsearch-ingest-langdetect プラグインを使用して、言語判別をしながら多言語対応する方法を紹介しています

Envío de logs de Kubernetes a Elasticsearch con Filebeat
Recientemente, escribimos acerca de las nuevas funciones de Filebeat para recuperar y enriquecer los logs de Docker con Filebeat, y, desde la versión 6.0, puede aprovechar esta misma tecnología cuando utilice Kubernetes. Cuando envíe logs desde infraestructura de contenedores, es importante que incluya metadatos de contexto para garantizar que podamos correlacionar los logs más tarde.

Carlos Pérez-Aradrosさんによる記事です
- k8sのログをFilebeatで取得する際、該当コンテナのメタデータを追加する方法を紹介しています
  - これにより、後からどのコンテナから取得したデータであるのか？をフィルタリングできるようになります

Get logs and metrics from your systems with Beats System modules
In a recent webinar, we gave an introduction to getting logs and metrics into the Elastic Stack. For people that prefer books over television, I'm going to dive into those same concepts again here in this blog. For my example, here is a simple application environment.

Dan Roscignoさんによる記事です
- FilebeatとMetricbeatのシステムモジュールについて概説しています

Elastic Stack Updates

Keeping up with Kibana: The week of June 25th, 2018
Welcome to Keeping up with Kibana! This is a series of posts on new developments in the Kibana project and related learning resources and events. The visualization spy panels have been removed from Kibana and replaced by the new Inspector feature. The Inspector shows more accurate data, such as all requests that have been made for a visualization.

Raya Fratkinaさんによる記事です
- 先週一週間のKibanaアップデートサマリ
主な更新内容
- 従来のスパイパネルを削除し、新しいインスペクタに置き換えるとのこと
  - これは6.4から使えるようになる予定

This Week in Elasticsearch and Apache Lucene - 2018-06-29
Highlights Upgrades to 6.3.0 from 5.x recovery issue After releasing 6.3.0 we received reports that upgrades from 5.x to 6.3.0 fail, as replicas would not recover. The problem was caused by a refactoring which simplified our Engine.

Paul Sanwald • Jason Tedor • Boaz Leskes • Jay Modi • Adrien Grand • Colin Goodheart-Smitheさんらによる記事です
- 先週一週間のElasticsearch、Apache Luceneアップデートサマリ
主な更新内容
- Elasticsearch
  - 5.xから6.3.0へのアップグレードがレプリカが回復しないために失敗する問題を解決（6.3.1で修正）
  - JDK11対応を進めている
    - 6.5で対応完了する予定
- Lucene
  - 7.4がリリース
  - Force-mergeはnatural mergeと同様に、最大セグメントサイズより大きいセグメントを作成しなくなる

RELEASES

Elastic APM Ruby Agent 1.0 is Generally Available
The Ruby version of the Elastic APM Agent is now generally available as 1.0!

Mikkel Malmbergさんによる記事です
- Elastic APMのRubyエージェントがバージョン1.0となり、GA(Generally Available)になりました
  - 記事の中では簡単な使い方と表示されるAPM UIを紹介しています

公式ウェビナー

Logstash Use Case - Ingesting csv files into Elasticsearch | Elastic
Join us for this half hour live demo where we will start by loading a csv file into Elasticsearch. This detailed dataset contains the liquor purchases from a variety of store types (grocery stores, liquor stores, convenience stores, etc.) with product details and purchase date.

Michael Heldebrantさんによるウェビナーです
- csvデータをLogstashで投入する際の手順を紹介しています
VisualizationでVegaを多用していたのが印象的

Elastic Stack 6.3 新機能紹介ライブウェビナー
Elastic Stack 6.3 新機能紹介ライブウェビナー - Friday, June 29, 2018

大輪さん、大谷さんによるウェビナーです
- 6.3の新機能にフォーカスして紹介する内容でした
録画ビデオはまだ公開されていない模様です

Qiita

ELK (Elasticsearch Logstash Kibana) をWindows10にインストールしてみた（2018/6/24のスクリーンショット） - Qiita
ELK (Elasticsearch Logstash Kibana)は更新スピードが速く、少し前のドキュメントでも何かが変わってしまってうまく動かないことが多いです。そこで、今日(2018/6/24)時点のインストール記録としてス...

@kanpapaさんによる記事です
- Elastic StackをWindowsにインストールする方法をスクリーンショット付きで分かりやすく説明しています

FessとElasticsearchとLuceneの違い - Qiita
Fessがクローリングして検索できるようになるまで、内部ではElasticsearchやLuceneが動いています。どの部分がFessで、どの部分がElasticsearchやLuceneの役割なのかを簡単に記述します。 #Luc...

@kubokiyoshiさんによる記事です
- Fessの内部でレイヤの異なる3プロダクトが動いていることを説明しています

Fessの検索精度改善にanalysis-kuromoji-neologdを入れてみたけど効果が無かった話 - Qiita
この文章の目的 Fessの検索精度を改善するためにneologdの辞書を入れるなどの対応を考える事がありますが、必ずしも辞書の変更が課題の解決になるわけではありません。実際に辞書の導入が問題を解決しなかった失敗談の共有をし、類似...

引き続き@kubokiyoshiさんによる記事です
- Fessの検索速度改善における課題では辞書を変更するのではなく発行されるクエリを改善しなければいけないときもある、という事例を共有しています

PacketbeatのFlow情報をSankey Diagramで可視化する（Kibana6.2+ Vega Visualization） - Qiita
はじめに Kibana 6.2.0で追加されたVega VisualizationでネットワークのSankey Diagramを表示している人がちょこちょこ観測されます。（↓こういうやつですね。） ![Screenshot-2...

わたしです
- Kibana Vega Visualizationに関する日本語記事が少なすぎるので書いてみました
  - もっと詳しい人にも情報共有してほしいなぁ…
なお、QiitaのKibana Vega Visualizationの記事は@tsgkdtさんの以下2つのみです（※6.2.0でVegaがKibanaにビルトインになって以降）
- Kibana 6.2.0リリース記念　Vegaで遊ぼう
- Kibana 6.2.0リリース記念　Vegaで誤差棒（ErrorBarにチャレンジジョイ

その他ブログ記事など

日本語

高負荷状態に陥った Amazon Elasticsearch Service を安定させる方法

Manabu Sakaiさんによる記事です
- Amazon ESが高負荷に陥った時の対処策を紹介しています

Fessによるクローリングから検索までの仕組みの概要解説

久保清さんによる記事です
- Fessの動作についてLucene、Elasticsearch、Fessのどの部分が何を担当しているかを解説しています

Elasticsearch/Kibanaを6.2.2から6.3.0にupgradeした - wyukawa's blog
6.3.0のrelease blogはこちら https://www.elastic.co/blog/elasticsearch-6-3-0-released https://www.el..

wyukawaさんによる記事です
- Elasticsearch/Kibanaを6.3.0にアップデートしたところ、Kibana6.3.0ではグラフの自動更新のタイミングで表示がチカチカしてしまう事象を報告されています
- また、Index Templateの更新にはCerebroを使うとよい話なども共有されています

英語

Elasticsearch Cluster and Kibana using docker-compose
I hope this post has helped you. If you enjoyed this article, please don't forget to clap👏 ! I would love to know what you think and would appreciate your thoughts on this topic. You can also follow me on Medium, GitHub and Twitter for more updates.

Mayank Patelさんによる記事です
- ver6.3.0のElasticsearchクラスターとKibanaをdocker-composeで上げる方法を紹介しています
Elastic公式でdocker-composeないの？って思う人も多いと思いますが、こちらにあります
- もっと大々的に宣伝しても良い気がしますが…

Running Elasticsearch Curator as an AWS Lambda function
AWS Lambda functions can be used to run the Elasticsearch Curator CLI in a serverless way. This can be very convenient as you don't need yet another server in order to run your Curator jobs, especially if you are using an Elasticsearch cloud hosting service and don't have any machines directly available.

Henrik Lindströmさんによる記事です
- 先週紹介したAWS Lambda関数としてCuratorを実行するパッケージ「lambda-curator」を紹介しています

aazoo-bv/AMP4Endpoints-elasticsearch
AMP4Endpoints-elasticsearch - Index Events from AMP4Endpoints to ELK

aazoo-bvさんによるリポジトリです
- CiscoのAMP4EndpointsのイベントをElasticsearchに送信するPython スクリプトがGitHubにinitial commitされてました

8 surprising facts about real Docker adoption
At the beginning of April 2018, 23.4 percent of Datadog customers had adopted Docker, up from 20.3 percent one year earlier. Since 2015, the share of customers running Docker has grown at a rate of about 3 to 5 points per year.

Datadogで監視対象にしている環境のDockerコンテナで立ち上げているアプリランキング（2018/06）でElasticsearchが5位に
- 実は過去のランキングよりも順位を徐々に落としつつあります
- Elasticsearchの使用率（%）自体は微増か現状維持ぐらいなので、他のアプリがどんどんDockerコンテナで立ち上げられるようになってきているということでしょう

Marketing Firm Leaked Database With 340 Million Records
You've probably never heard of the marketing and data aggregation firm Exactis. But it may well have heard of you. And now there's also a good chance that whatever information the company has about you, it recently leaked onto the public internet, available to any hacker who simply knew where to look.

米国のIPアドレスを持つ一般にアクセス可能なサーバー全てに対してセキュリティの甘いElasticsearchがないかを検索したところ7000ほどのサーバーが閲覧可能であったとのこと
- そして、その中のマーケティング会社EXACTISは3億4000万レコードの個人情報データをリークしてしまっていたことが話題に
日本語翻訳記事はこちら

Worse than Equifax: Personal records of 340M people leaked online
Last year the credit reporting firm Equifax revealed how unknown hackers stole a personal data of over 143 million Americans - In another incident, sensitive data of 123 million American Households were leaked online.

セキュリティジャーナリストのWaqasさんによる記事です
- 前述の事件の3億4000万件の内訳は一般的な個人情報に加え、喫煙するかどうか、所有するペットの種類、属する宗教など詳細な情報が含まれており、総計約2TBに上ることが明かされています

Exactis Leak Shows Importance of Securing Elasticsearch Data
This week, US-based marketing firm Exactis made headlines for the possible data leak of over 340 million personal records. Think about that for a second: 340 million. That's more records than the official population in the United States of America (as of 2017).

前述の事件を受けて、ちゃんとElasticsearchのデータはX-Pack Securityで守らないと駄目だよ、とNuxtユーザに警告する内容

Search Guard on Twitter
Sadly, exposing unprotected #Elasticsearch instances over the internet still seems to be a thing. 340 million personal records freely accessible: https://t.co/EgLUCLw05n Use at least Search Guard Community to protect your data. It's free. There's no excuse anymore. #elk #security

また、前述の事件を受けて、TwitterのSearch Guardアカウントでは「せめてX-Pack Securityが使えないなら僕らのSearch Guard Community（無償OSS版）を使ってあなたのデータを守ってください」と呼びかけています

Release Notes v5.2.x
Grafana v5.2 brings new features, many enhancements and bug fixes. This article will detail the major new features and enhancements. What's new in Grafana v5.2 Download Release Highlights Elasticsearch alerting it's finally here!

Elasticsearch内のデータに対するAlerting機能を追加したGrafana 5.2.0がリリース
- その後、すぐにバグフィックス版の5.2.1もリリースされています

先週の漏れ

Elasticsearch6.3のインストールと考察 - やさぐれSEの技術メモ
Elasticsearch6.3がリリースされましたので、インストールと検証を行いました。検証した結果、下記の流れが良いと思います。 6.3からX-Packも含まれていますので、そのインストールが減ります。基本的には6.2と変わらないです。今回は(1)～(8)について書きます

id:gitya107さんによる記事です。
- Elasticsearch6.3をインストールする手順について6.2以前と差分がある箇所について解説されています

今週は以上です。

この世の全てからElasticSearchという誤記をなくしたい。