今週のElastic News (2018/06/10~2018/06/16)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今週の注目情報

Elastic Stack 6.3.0 Released

6.3.0 is here. There are some releases that fix bugs. There are some releases that add features. There are some releases that do both, and make a fairly major change in how you are entitled to interact with the software...this is of the latter variety.

今週の注目は間違いなくこちらだと思います。Elastic Stack 6.3のリリースです!

まず、X-Packがオープンコード化しました。

また、配布パッケージにX-Packが同梱されるようになり、X-Pack Basicが有効になった状態がデフォルトになります。 もうインストール時にX-Packを追加インストールする必要はなく、Basicなら定期的なアカウント更新も必要ありません!驚異的な変更と言わざるを得ない...

しかも、KibanaにLicense Managementページが追加され、そこからX-Pack Platinumの試用ライセンス(30日間)を有効にすることができます。多分期間が過ぎたらBasicに戻るはず。

またしばらく『やってみた』記事が盛り上がりそうな雰囲気。ウォッチしていきます!




公式ブログ

RELEASES

Elasticsearch 6.3.0 Released

Today we are pleased to announce the release of Elasticsearch 6.3.0, based on Lucene 7.3.0. This is the latest stable release, and is already available for deployment via our Elasticsearch Service on Elastic Cloud.

いくつか気になった内容を示します。 (ほぼ全部!)

  • Elasticsearch SQL
    • Elasticsearchに対してSQLで問い合わせることができるようになる機能が遂に実装されました!
      • DBとしてのElasticsearchに最も望まれた機能であったことはこのツイートなどからも分かります
    • REST APIと "translate"機能はX-Pack Basic、
  • Rollup
    • X-Pack Basicの機能に追加
    • 取得したメトリックに対して一定期間経過したものは統計情報のみに変換して、生値を削除する機能が追加されました
    • これによりストレージ容量を気にかけることが少なくなりそうです
  • Java 10サポート
    • 6.2でJava 9をサポートしたのも記憶に新しいですが、6.3でJava10をサポートするようです
    • なお、Javaの短期リリースサイクルに慣れていない大多数のユーザはJava 8を引き続き使うよう勧めています



Elasticsearch 5.6.2 released

Today we are pleased to announce the release of Elasticsearch 5.6.10, based on Lucene 6.6.1. Elastisearch 5.6.10 is the latest stable release in 5.x, and is already available for deployment on Elastic Cloud, our Elasticsearch-as-a-service platform.

その横でしれっと5.xもバグフィックスがリリースされていました。




Kibana 6.3.0 is released

It's Kibana release time again, and in this release in addition to the changes related to opening of X-Pack, you will see a lot of small and medium features. But don't let their size fool you - these changes should have a large impact for the users.

主にElastic Stack管理系UIの更新と細かくも気が利く系の便利機能など。 いくつか気になった内容を示します。

  • Managementにライセンス管理画面を追加
  • クエリバーの自動補完
    • クエリバー右側のOptionsから有効化する必要あり
  • ホームページに最近閲覧したページへのリンクが表示されるように
  • タイムピッカーに最近使用した時間設定が表示されるように
    • 特にabsoluteとかで見てた場合にはかなり便利そう
  • Dashboardのグリッドがより細かくなった
  • インデックス管理画面の追加
    • Elasticsearch内のインデックスに関する情報を一覧できます
      • indexの削除が可能
      • mappingを確認可能
      • settingsを確認可能な上、画面上から更新も可能に
    • indexの設定を確認するのに、いちいちConsoleからAPIを叩く時代は終わりそうですね!
  • MonitoringのオンオフがKibanaのMonitoring画面からできるように
    • なお、デフォルトがオフになっているので注意が必要です



Logstash 6.3.0 Released

Today is a big day -- we're releasing the first version of Logstash since we've opened our X-Pack code. This is meaningful for a number of reasons which we've covered in detail in our opening X-Pack announcement. This release also brings a number of significant new features and performance improvements.

いくつか気になった内容を示します。

  • Persistent Queueの重大なバグフィックスを含むため、過去のPQは排除or削除したうえでアップデートする必要がある
  • Java実行エンジンのパフォーマンスを向上(ENGINEERINGの記事で後述)
  • S3とSQSプラグインのカスタムエンドポイントとリージョンのサポートを追加
  • Exec input plugin:'schedule'オプションを設定することで定期的実行できるようになった
  • Redis input plugin:SSL/TLSおよびUnixソケットの基本サポートを追加

これ以外にPipeline-to-Pipeline CommunicationというBeta機能が追加されていますが、私の現時点の理解力ではよくわかりませんでした…。




Beats 6.3.0 Released

We're pleased to release Beats 6.3.0. Enjoy! Here are the highlights: You probably got used to the fact that each 6.x minor release is making Kubernetes monitoring even nicer, so we couldn't disappoint you with this one.

いくつか気になった内容を示します。

  • k8s/Dockerアノテーションを通してBeatsを設定できるようになった
  • 全てのBeatsで投入イベントの永続化ができるようになった(ベータ版)
    • 発行されるイベントは最初にスプールに書き込まれ、その後でElasticsearchまたはLogstashに転送される
    • ディスクへのスプールはBeatsが再起動された後、またはネットワークの問題により出力が長時間停止した場合でも、引き続き利用できる
    • ベータ版のため、商用環境では使用しないこと
  • メタデータにホスト情報が追加されるようになった
    • クラウド上やk8sで実行しているときは各種メタデータを収集していたのに、オンプレでやってなかったのはおかしいよね?ということで追加された
    • Filebeatに以下の新モジュールを追加
      • MongoDB
      • Logstash
      • IIS
    • Metricbeatに以下の新モジュールを追加
      • Etcd
      • Graphite
      • Logstash
      • Munin



Elasticsearch for Apache Hadoop 6.3.0 Released

​I am excited to announce the release of Elasticsearch for Apache Hadoop (aka ES-Hadoop) 6.3.0 built against Elasticsearch 6.3.0. Spark 2.3 Support Starting in 6.3.0, we now support up to the most recent Spark 2.3 release. It should be noted that Spark 2.3 does not support Scala 2.10 any longer.




Elastic Cloud Enterprise 1.1.4 released

We are happy to announce the availability of ECE 1.1.4, a maintenance release. Please see the release notes here or head straight to our downloads page to get it! ECE 1.1.4 adds support for Elasticsearch and Kibana version 6.3.0. This version is required if you want to upgrade to these Stack versions.

  • Elastic Stack 6.3.0のサポート
  • 幾つかのセキュリティ脆弱性を修正



ENGINEERING

Meet the New Logstash Java Execution Engine

We're happy to announce that the new Java execution engine in Logstash has reached the production candidate stage. It features faster performance, reduced memory usage, and lower config startup and reload times. And you can use it now in Logstash 6.3.0 with the --experimental-java-execution flag!




Elastic Stack Updates

This Week in Elasticsearch and Apache Lucene - 2018-06-15

Rolling Upgrade to 6.3 Issue After the release of 6.3.0, we received reports of nodes not re-joining their cluster after a rolling upgrade for clients that both have a gold/platinum license installed, and security enabled. Workaround is to explicitly set xpack.security.enabled: true in the elasticsearch.yml file, we are adding to docs as a known issue.

ElasticsearchとLuceneに関する過去1週間のアップデートサマリ。 気になるのは…

  • 6.3のローリングアップデート時にある問題があり修正中
    • Gold / Platinumライセンスがインストールされ、セキュリティが有効になっているクライアントのローリングアップグレード後にクラスタに再結合しないノードがある問題
    • 回避策はelasticsearch.ymlのxpack.security.enabled: trueを明示的に設定すること



Qiita

Docker初心者が、Nginxのログを fluentd + elasticsearch + kibana で可視化してみた - Qiita

Dockerは仮想技術の一つ程度しか知らいない状態から、JJUG CCC 2018 Spring で「JavaエンジニアのためのDocker入門 ~ 仮想開発・テスト環境構築 ~ 」を聞いて少し勉強してみたのでDockerで環境を作ってみました。「 今更Docker入門 - コンテナ化することで何が嬉しいか」の延長線で、Nginxのログを fluentd + elasticsearch + ...

@zgmf_mbfp03さんによる記事です。

表題の内容を実現するdocker-composeを作成し、記事内で解説しています。




Dockerコンテナ上のElasticsearchのデータを永続化する - Qiita

5分でMacにDockerをインストールしてElasticsearchを起動する](https://qiita.com/matyahiko2831/items/dd64aa91f2b03e50f05d) の続編です。...

@matyahiko2831さんによる記事です。

Elasticsearchをdocker-composeで上げる際にvolumeを永続化しましょう、という話。




Elasticsearch 6.3.0 リリース記念 X-Pack SQL Accessをやってみよう - Qiita

Elasticsearchに検索条件を投げるとき、Elasticsearchのクエリを組み立てる必要がありました。 このクエリを(みんなが書き慣れてるだろう)SQLで書けないか、というような位置づけなんだろうと思いますが、 SQLをクエリとして発行したり、Elasticsearchのクエリに変換できる機能が6.3.0でX-Pack)に入りました。 それを試してみます。

@tsgkdtさんによる記事です。

(観測範囲では)本邦最速のElasitcsearch SQLを色々と試してみた系記事です!今後よく参照されそう。(少なくとも私は…)

結果が「あれ?」と思ったら「SQL Translate API」を使って実際のクエリ内容を見てみれば大丈夫ですよ~、とか実践的で、ありがたいです。JOINサポート、来てほしいですね。




書籍

Elasticsearch実践ガイド - インプレスブックス

データサイエンティスト必修のElasticsearch入門

日本ヒューレットパッカードの惣道 哲也さん著による「Elasticsearch実践ガイド」がインプレスさんから出版されました!

くしくもバージョン6.3がリリースされた直後に発売となり、古いバージョンについての本になってしまいましたが、Elasticsearchに対する基本的な考え方は変わらないと思います。

プロフェッショナルの立場から、必要な知識を隅から隅まで書かれた素晴らしい本です。また、全くElasticsearchを知らない人にも理解できるよう、背景や概念的な説明にも余念がありません。 (まだ全て読んでいませんが、読めば読むほど抜け落ちていた知識が補足されていって、有意義な読書時間を満喫しています。)

第1版のため、誤植もあったりするようですが、見つけたら「お問い合わせ - インプレスブックス」から報告しましょう!




その他ブログ記事など

日本語




Amazon Elasticsearch Service の Blue/Green デプロイについて調べてみた

Manabu Sakaiさんによる記事です。

Amazon Elasticsearch Serviceではクラスタドメイン)を変更した際にBlue/Greenデプロイが走るようで、その内容を詳しくまとめられています。

Blue/Green Deploymentとは何ぞや?という方はこちら




PythonからElasticsearchに_typeを明記せずにクエリを実行する(prefix指定)

Elasticsearch 5.3に対してPythonからアクセスする際、Indexはワイルドカード指定できるのだけど、Typeについてはワイルドカードでの指定ができない。 一応、カンマ区切りで複数の指定は可能なのだけど、あまりにTypeの数が多くなるとhttpのエラーでクエリを実行できなくなってしまう。で、なんかいい方法ないのかなと調べていたのだけど、どうやらクエリ側にprefixとして_typeを定義してやることで、ワイルドカードでの指定と同じようなことができるようだ。 query = { 'bool': { 'must':[ 'prefix': {'_type': {'value': } } ] }, ... } } この場合、クエリ実行時に_typeは指定しないようにする必要があるけど、ひとまずこれでワイルドカード指定と同じような挙動をしてくれた。

Blacknonさんによる記事です。

表題の通りのTips。また、今週は「PythonからElasticsearchのIndex/Typeの一覧を取得する」という記事も書かれています。




Elastic Stack 6.3がリリースされました - Taste of Tech Topics

こんにちは。 @ shin0higuchi です😊 昨日Elastic Stackの6.3がリリースされました。 前回のElastic{ON}から3ヶ月経ち、その中で紹介された機能が徐々に盛り込まれて来た形です。 6.3での変更点をざっくりまとめます。

Acroquest Technologyのshin higuchiさんによる記事です。

次のクラメソさんの記事と合わせて読んでおけば、ほぼリリースされたばかりのElastic Stack6.3の新機能が理解できるといっても過言ではないと思います。




Elasticsearch 6.3.0 の新機能を試してみた | Developers.IO

Elastic Stack の新しいマイナーバージョン 6.3.0 がリリースされました。 Elastic Stack 6.3.0 では Elastic{ON} 2018 で紹介された機能が多く含まれていました。今回は Elasticsearch 6.3.0 の新機能を中心に簡単に試してみました。

クラスメソッドの藤本 真司さんによる記事です。

Elasticsearch 6.3の新機能はどうやったら試せますか?系はこちらの記事を読めばカカッっと理解できます。流石のスピード感です。




英語




Monitoring Audit Logs with auditd and Auditbeat

In this post, we will configure rules to generate audit logs. First, we will use auditd to write logs to flat files. Then we'll use Auditbeat to ship those logs through the Elasticsearch API: either to a local cluster or to Sematext Logs (aka Logsene, our logging SaaS).

SematextのRadu Gheorgheさんによる記事です。

まず、Auditdについて解説し、その後でAuditbeatで置き換える方法を紹介しています。




Building Better Reports With a Data Pipeline

Learn about the data-driven, visualization tools and systems that helped make Duo's new authentication and deployment reports possible.

DuoのBryan Witherspoonさんによる記事です。

利用者の認証ログをMySQLからKafka+Elasticsearchの構成に変更することで高速化した事例を共有しています。




Powerful logging with Docker, Filebeat and Elasticsearch

To perform an efficient log analysis, the ELK stack is still a good choice, even with Docker. The ELK stack is composed of the following components: Logstash , a component to collect, transform and enrich log entries. Elasticsearch , a database and search engine that stores and indexes data (here: log entries) in a scalable way.

Bruno COSTEさんによる記事です。

Filebeatを使用してログ収集をする方法を紹介しています。Dockerコンテナ上でSpring Bootを使用している前提で話を展開しています。




Geo distance search queries with Elasticsearch to provide store locator experience

Using Geo Distance Search Queries with elasticsearch to provide store locator experience

T-MobileのRam Gopinathanさんによるスライドです。

顧客向けに近くのストア情報を表示できるようにするためElasticsearchを使ってるよ、という話。 また、いくつかGolangでのクエリ実例も載っています。




ElasticSearch - Import Data from CSV by using Python - Yuliang's Blog

Importing data to ElasticSearch from CSV file is a really common use case, in my last post, I have explained how to export data from ElasticSearch to CSV. Here, I would like to explain how to import data from CSV to ElasticSearch.

Yuliangさんによる記事です。

Pythoncsvを読み込んで、Elasticsearchに投入する方法を載せています。 前回のポストではElasticsearchのデータを読み込んでcsvに出力する方法も。




Combine Amazon Translate with Elasticsearch and Skedler to build a cost-efficient multi-lingual omnichannel customer care - Part 2 of 2 - Skedler

In the previous post, we presented a system architecture to translate text from multiple languages with AWS Translate, index this information in Elasticsearch 6.2.3 for fast search, visualize the data with Kibana, and automated sending of customized intelligence with Skedler Reports and Alerts.

GuidanzのMatteo Zucconsさんによる記事です。

このポスト単体では「?」となるので、前のポストで概要を理解したうえで読むことをお勧めします。

API Gateway=>Lambda(Amazon Translateを実行)経由で顧客からの問い合わせを翻訳したうえでElasticsearchに投入し、Kibanaで可視化する方法を紹介しています。

また、データのアラートおよびレポートは同社が提供するskedlerを使いましょう!というストーリー。

元言語と英語の両方で検索できたりするのは便利っぽい。




Docker, Elasticsearch and Rails tutorial - Diego Y Kurisaki - Medium

Install Elasticsearch gems! Well this is no news but I had some trouble setting up my existing Rails application with elasticsearch so I hope this tutorial helps someone to not fall in the same pitfalls that I had. Gems https://github.com/elastic/elasticsearch-rails Elasticsearch gems are modularized, it depends how you choose to implement the integration in your application.

Diego Y Kurisakiさんによる記事です。

Ruby on Rails製のアプリからElasticsearchを叩く方法を紹介しています。 (Railsアプリをdocker-composeで上げていることを前提にしていますが、そうでなくても内容は変わらないと思います。)




Python implementation of Scroll API : Elasticsearch

Juggernautpandaさんによる記事です。

Python ClientでScroll APIを叩く際の実例を載せています。




How To Build A Movie Search App With React and ElasticSearch

In this post, we will use React and Elasticsearch to build a MovieSearch app. I know you like React, and watching movies, but what is this Elasticsearch thing I'm talking about. Don't worry. This blog post will give you a kickstart into understanding the basics of Elasticsearch - What is it?

Raj Meghparaさんによる記事です。

ReactivesearchというReactのUIコンポーネントを使用して、Elasticsearchと連携したReactアプリを作成する方法を紹介しています。 見出し画像のような検索画面が簡単に実現できてしまうのはすごいですね! デモサイトもあるようなので、まずはアクセスして手触り感を味わってみることをお勧めします。

また、その前のポストではReactとElasticsearchでAirbnbクローンを作るにはどうやればできるか?という内容の記事を書かれていて興味深いです。こちらではReactivesearchに加えてReactiveMapsを使って地図表示と絡めたアプリを作成しています。




英語以外

严选 | Elasticsearch史上最全最常用工具清单

铭毅天下さんによる記事です。

Elastic Stackの有用であったり、よく使われているプラグインが用途別にまとめられています。

知らないものも多く、こういうまとめが欲しかった!という感じです。すごい。(語彙力を失う)




Search Guard - Compliance Edition

Nous sommes très fiers de vous annoncer Search Guard™ Compliance Edition ! Des fonctionnalités additionnelles à "Search Guard Enterprise Edition", qui

EXCELERATE SystemsのAadel Benyoussefさんによる記事です。

Search GuardのCompliance Edition発表に合わせて搭載機能の紹介をしています。

Search Guardはポリシーベースでインデックスやフィールドを見せる/見せないをKibana/Elasticsearchに搭載できるユーザ管理プラグインです。OSS版もあり、X-Pack Securityを使えない場合の選択肢に上がるかもしれません。

日本語情報ではQiitaの@S-Tさんによるkibana(ELK)でユーザーやグループ毎に見せる/見せないをコントロールする。が詳しいです。




先週の漏れ

Change Is Good: The 5 Reasons Code.gov Moved from Lunr to Elasticsearch

Change can really bother people. Understandable as it can be a little scary. You get used to how things work, be it in life, at the day job, at home, or even on a website. When well thought out, however, change can benefit you, and we at Code.gov are always looking to make your experience with us and the website overall more efficient.

Code.govメンバによる記事です。

Code.govの検索エンジンをLunrからElasticsearchに変更した理由を述べています。

Code.govは、連邦政府機関のオープンソースプロジェクトをまとめたウェブサイトで、詳細はInsight for Dさんの記事が詳しいです。

また、LunrはSolrライクなnode.jsで書かれた軽量な検索パッケージです。

記事の中では以下の5点を理由として挙げています。

  1. より堅牢なインデックス作成機能と検索機能が提供できる
  2. 読み込み時間が短縮される
  3. より堅牢な検索言語が使用できる
    • 検索キーワードに関連する類義語検索もできるし、ステミングもできる
  4. サードパーティアプリから我々の検索APIを呼び出せるようになる
  5. 最近の検索クエリを数日間保管し、比較できる
    • これを材料として検索機能を日々改善していくことができる



Natural Language Extractions using Machine Learning in ElasticSearch

Introduction ElasticSearch is well-known for providing developers the flexibility to do common natural language tasks. Out of the box, these tasks

Apache OpenNLPを使用して自然言語抽出(構文解析)をしてくれるOpenNLP Ingest Processorプラグインの紹介。

OpenNLPのNLPNatural Language Processing。




Monitoring AWS Redshift With Elasticsearch - Anchormen | Data activators

AnchormenのSaman Sattari Khavasさんによる記事です。

「どのユーザーがAWS RedShift上でどのクエリを実行しているのか、これらのクエリのどれがシステムに大きな負荷をかけているのか」 を明確にするため、AWS Redshiftに対するCloudwatchデータをElasticsearchに投入する方法を紹介しています。

また、Cloudwatchデータだけでなく、Logstashのjdbc input pluginで、Redshift内のシステムテーブル情報を取得する方法も載せています。実践的。




今週は以上です。

など、かなり濃い一週間でした。

Have a Elastic day!

今週のElastic News (2018/06/03~2018/06/09)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今週の注目情報

2018年 人気&嫌われデータベーストップ21 - Stack Overflow

Stack Overflowが1年おきに公開している開発者調査レポートの2018年版となる「 Stack Overflow Developer Survey 2018 」が公開された。同レポートには、10万人を超える開発者から得られたアンケートに基づく、開発者が最も愛しているデータベース、嫌っているデータベース、需要があるデータベースのランキングが掲載されている。 各ランキングは次のとおり。

Stack Overflowの開発者調査レポート2018年版が公開され、DBのランキングでElasticsearchが上位を獲得しました。 (開発者に愛されているDB:3位、需要があるDB:2位)

どちらのランキングもRedis、PostgreSQLとデッドヒートを繰り広げている感じです。 Elasticsearchは去年の集計では全く登場していなかったことを考えると、今最も注目されているDBと呼べるのではないでしょうか! (まぁ、去年は集計対象が、かなり限定されていたという側面もありそうですが…)




公式ブログ

ENGINEERING

Filtering Input Data to Refine Machine Learning Jobs

Elastic machine learning is fast. It's easy. It's accurate. It allows users to analyze mountains of data in near real-time. It's amazing. (Okay, we're biased). But what if you want to be a little more selective about the data that machine learning analyzes?

X-Pack Machine Learningでジョブを実行する際に一部データを学習範囲から除外する方法を紹介している。

記事の題材は各種レスポンスコード件数の異常値を可視化する場面。ボット、Webクローラーが大量の404応答を生成しているが、着目したいのはエンドユーザが生成するステータスコードのみであり、前者を除外するには…というストーリーが展開されている。




Elastic Stack Updates

Brewing in Beats: Introduce Elastic Common Schema

Welcome to Brewing in Beats! With these weekly series, we're keeping you up to date with what's new in Beats, including the latest commits and releases. Did you know that Beats 6.2 is already available? Try it and let us know what you think.

Beatsに関する過去2週間のアップデートサマリ。 気になったのは以下3つ。

  • Elastic Common Schema (ECS)
    • GitHub - elastic/ecs: Elastic Common Schema
    • 各種Elastic Stackで使用するドキュメント(例:Metricbeatで投入されるメトリクス)について共通する部分は形式を統一しよう、という動きでしょうか。
    • Amazon EC2 Container Serviceではないw
  • Dissect processor
    • LogstashのDissect filter相当のことがBeatsでもできるようになる
    • Ingest nodeではなくて、Beats側のプロセッサで処理してElasticsearchに投入するもの
    • Beats6.4から使用可能に
  • Enhance Packetbeat process monitor



Logstash Lines: Support for TCP and SNMPv1 in SNMP input plugin

Welcome to Logstash Lines! With these weekly series, we're keeping you up to date with what's new in Logstash, including the latest commits and releases. Did you know that Logstash 6.2 is already available? Try it and let us know what you think. This update covers the last two weeks.

Beatsに関する過去2週間のアップデートサマリ。 大分淡泊な内容ですが、試験の修正が大変そうな雰囲気。。

  • SNMP input pluginのBeta3からTCPとSNMPv1のサポートを追加
    • これまではUDPのSNMPv2cのみだった
    • プラグインのベータ版をインストールする際にはバージョンを明示的に指定する必要がある
      • $ bin/logstash-plugin install --version 0.1.0.beta3 logstash-input-snmp
  • Test stability
    • ここ数年来、あまりに標準からかけ離れたテストコードを放置してきてしまった
    • テストの信頼性を損なうため、直近はこれら不正なテストの修正を実施している



Keeping up with Kibana: This week in Kibana for June 4th, 2018

TypeScript Support was completed in the Kibana Platform. And with the merge of the saved object API docs into 6.3, we now have the first formal REST APIs in Kibana documented for public use.

Kibanaに関する過去1週間のアップデートサマリ。 なぜか求人情報が載ってて草。




This Week in Elasticsearch and Apache Lucene - 2018-06-08

Cross Cluster Search now preserves remote status code To date, if an exception is thrown on the remote cluster in a cross-cluster search, the local cluster will return a 500 error -- which prevents clients from being made aware of problems with the request (e.g., searching an index that does not exist).

ElasticsearchとLuceneに関する過去1週間のアップデートサマリ。 興味深いのは…

  • Shardsのインデクシングバッファを256MBのハードコード値にしていたが、設定できるように変更した
    • Elasitc{on}の会場でインデクシングのパフォーマンスが低下した件についてエンジニアが調査したところ、この設定値に問題があることが判明した
    • 大量のフィールド(今回の例のように、20kフィールド以上なら確実)を使用するユーザはバッファを増やすと恩恵が受けられる



Qiita

SQLとElasticsearchとのクエリの比較 - Qiita

SQLとElasticsearchのクエリがそれぞれどう対応しているのか、よく使われると思うものについて大体まとめました。 ...

@NAO_MK2さんの記事。

すぐに忘れてしまうので、チートシート的な記事はありがたいです。




fluentd/Elasticsearch/kibanaを試す: (1)インストール - Qiita

はじめに ログ収集、可視化などに良く使われているらしいfluentd, Elasticsearch, kibanaを試してみた時のメモです。 色々と応用が利きそうなので、これらを中心に色々と試してみたいと思います。 冗長化とかは置い...

@tomotagworkさんによる記事。

EFK構成での使い方紹介。 第1回はインストールまで。




fluentd/Elasticsearch/kibanaを試す: (2)基本構成/起動/停止 - Qiita

ログ収集、可視化などに良く使われているらしいfluentd, Elasticsearch, kibanaを試してみた時のメモです。 今回は最低限の構成を行って各コンポーネントの起動/停止、単体での簡易的な動作確認などやってみます。 ※バージョンによって構成ファイルの書き方など結構変わっている部分が多いです。特にfluentdはV0.x(td-agent v2)とV1.0(td-agent ...

同上。

第2回は動作確認と起動/停止方法について。




5分でMacにDockerをインストールしてElasticsearchを起動する - Qiita

巷で話題の[2018年の最先端バックエンドエンジニアに必要なスキルについて考えてみました。](https://qiita.com/poly_soft/items/fb649573c19b7a5c0227)という記事に >現在業務で...

@matyahiko2831さんによる記事。

Docker on macでDockerHubのelasticsearchイメージをpullして起動するまで。




boxとelastic searchを繋いでみた - Qiita

boxの検索には、制限がある。 box community記事より抜粋: Box は、ファイル内のキーワードに依存して、文書ごとに 1 万の全文検索文字を格納します。Box の検索索引では、多数の異なるトークン化およびストップワード削除フィルタが使用されます。 つまり、1万バイトを超える文書内の文字列については検索対象とならず、boxの検索候補に出てきません。...

@daichiiiiiiiさんによる記事。BOXの中の方らしい。

他のbox社員の方がPoCで作成したツール(boxエンタープライズイベントから検索対象のアイテムをElasticsearchへindexingするデモアプリ)の使い方を解説。 注意点として検索結果のセキュリティをどうやって担保するか?の話をされています。

仮にElasticsearch/Kibanaでユーザ権限を管理するとすればX-Pack Securityがありますが、どのように権限を付与するか?は幾つかパターンがあるとはいえ毎回考える必要があると思います。

特に記事に記載されている通り、関連システムが別のユーザ権限管理機能を持っていて、Elastic Stack側はどう合わせるか?は後から導入する際によくありそうな話題だと思います。




文書分類モデルをLTRの特徴量にする - Qiita

以前の記事 で、LTRの概要を書きました。MicrosoftのLTRのデータセットでは、"Qua...

@sugiyamathさんによる記事。

先々週の記事ではLTRの概要を記載するにとどまっていましたが、今回は実際にElasticsearch内のドキュメントに対してヒューリスティクスアノテーションを実行するコード例を記載されています。(よくわかってない)




書籍

Introduction of Elastic Stack 6 これからはじめるデータ収集&分析 (技術書典シリーズ(NextPublishing))

Amazonで石井 葵, 前原 応光, 須田 桂伍のIntroduction of Elastic Stack 6 これからはじめるデータ収集&分析 (技術書典シリーズ(NextPublishing))。アマゾンならポイント還元本が多数。石井 葵, 前原 応光, 須田 桂伍作品ほか、お急ぎ便対象商品は当日お届けも可能。またIntroduction of Elastic Stack 6 これからはじめるデータ収集&分析 (技術書典シリーズ(NextPublishing))もアマゾン配送商品なら通常配送無料。

技術書典4でのりまりま団さんの新作、Introduction of Elastic Stack6インプレスさんから商業ルートで出版されそうな雰囲気です。




その他ブログ記事など

日本語

【Amazon Elasticsearch Service】 手動スナップショットからリストアする方法 | Developers.IO

Developers.IOは、AWSiOS/Androidアプリ、ビッグデータ、Alexa等の最新技術情報からリモートワークや働き方に関する記事まで多彩なトピックを紹介するクラスメソッドのオウンドメディアです。

Divelopers.IOよりユースケさんによる記事。

最後にリンク記載がある通り、Amazon Elasticsearch Service インデックススナップショットの使用 - Amazon Elasticsearch ServiceAWS謹製のドキュメントがありますが、スナップショットのディレクトリ(S3)登録の際以外にも、アクセスポリシーがIAMユーザやIAMロールの場合、各種API実行にAWSリクエスト署名が必要となるとのこと。curlAWSリクエスト署名をサポートしていないため、Pythonのサンプルスクリプトが記載されています。

流石は天下のAWS。Elasticsearch Serviceもドキュメント充実してますね! また読んでみます。




Elasticsearch 5.4でIndexのSnapshotを取得してバックアップ・リストアをする

Elasticsearchでは、Snapshotという機能を使うことでIndexのバックアップを取得することができるらしい。 別ディスクにオンタイムで取得できるらしく、使い勝手はよさそう。 ...

blacknonさんによる記事。

こちらは先ほどとは打って変わって通常のElasticsearchでのバックアップ・リストアの話。




PythonからElasticsearchのbulk処理実行時のエラーを出力、加工する

調べた際に、そのものズバリで引っかからなかったので念の為残しておく。 以下のように、bulk処理をtryで実行し、exceptでhelpers.BulkIndexError.errorsを指定することで、エラーリストを取得できるようだ。...

引き続き、blacknonさんによる記事。

ElasticsearchのPythonクライアント仕様についてのTips。




Elasticsearchのインストール及び設定 その9 スナップショットの作成 - やさぐれSEの技術メモ

設定変更の際や定期的なスナップショットの取得がElasticsearchに不可欠です。...

id:gitya107さんによる記事。

スナップショット関連の話です。 先週はなぜか国内Elastic情報でスナップショット関連が盛り上がりを見せていたことになります。(?)




docker で Elasticsearch - momota.txt

Docker for Windows で Windows10 上に Elasticsearch を動かしたときのメモ。 Docker: 18.03.1-ce-win65 (17513) Elasticsearch: 6.2.4 日本語を扱いたいのでプラグイン kuromoji をインストールする ...

momotaさんによる記事。

ヘッダーがSmells Like Teen Spiritだったりサイトの配色がSolarized Lightだったりで、とにかくエモい。

Docker for WindowsでElasticsearch 6.2.4 with kuromojiなコンテナを上げて、Pythonクライアントからcsv登録/あいまい検索を実行する方法を紹介しています。




Amazon Connect + Kinesis Firehose + Amazon Elasticsearch

こんにちは。katoです。 今回はAmazon Connectのデータストリーミング機能を利用して、通話イベントの情報をAmazon Elasticsearchに連携していきたいと思います。 ...

クロスパワー社のkatoさんによる記事。

Amazon ConnectからKinesis Firehoseを経由してAmazon Elasticsearch Serviceへコンタクトイベントをストリーミングする方法を紹介しています。 最終的なダッシュボードとして、以下を表示するダッシュボードを示しています。

  • コンタクトイベントの数
  • 通話時間の平均
    • ユーザ別
    • 電話番号別
  • 時間ごとのアウトバウンド
  • 時間ごとのインバウンド

なお、Amazon Connectはコンタクトセンターを提供するサービスで、詳細は公式サイトを参照のこと。




英語

What's New in Grafana v5.2

Feature & improvement highlights for Grafana v5.2

なんと、Grafanaが新バージョン5.2でElasticsearchのAlerting機能をサポートすることになりました。 X-Pack Alertingにお金を払えないんです…という状況な方には朗報になるかも?




Noteworthy at Compose - Tuning the Elasticsearch data browser

This is your weekly summary of Compose news for those changes and updates which can make your life easier. In this edition, changes in Compose's Elasticsearch data browser, the final Write Stuff cycle bonus is awarded and we look at the past week's Compose Articles. Elasticsearch changes Compose's Elasticsearch comes

IBM ComposeにおけるElasticsearch関連のアップデート情報。

  • Elasticsearchインデックス用のデータブラウザからForce Mergeオプションを削除
  • インデックスを作成するときにデフォルトのレプリカ数を1に変更した



Elasticsearch Performance Tuning - Logz.io

Once it's running, you'll likely find that Elasticsearch performance starts to suffer over time. In order to maintain your cluster, you'll need to set up monitors to alert you to any warning signs so that you can proactively handle available maintenance windows. Here's how.

Logz.io社のQuintessence Anxさんによる記事。

なお、Logz.io社はElastic StackのSaaS等を提供している会社のようです。企業ブログを見ると確かにElastic Stackの話題がずらり。

とりあえず使い始めたElasticsearchを使い始めてしばらくするとパフォーマンスの低下は免れず、改善について検討する必要があります。本記事で紹介されている内容を概説すると以下です。

  • トレードオフがあることを理解する
    • 全てを最適化することは不可能であり、ビジネスの優先順位とクラスタの使い方を定期的に評価/比較すること
  • キューを追跡する
    • インデックス、検索、バルクのキューの深さを注視すること
      • キューの状態はできるだけ空であることが望ましい
      • X-Pack Monitoringを使用する
  • あまりにも多くのメモリを設定しないこと
    • Elasticsearchで使用するJVMのヒープサイズについて最大値と最小値を同じにすること
    • また、物理メモリの半分以下をヒープサイズにすること
    • Elasticsearch: The Definitive Guideには64GBのRAMが理想的だと記載している
  • フラッシュはあまり頻繁にしないこと
    • デフォルトではドキュメントをディスクにフラッシュして検索可能にするまでの間隔(refresh_interval)は1秒に設定されているが、その値を30秒以上に上げることでインデックスのスループットを大幅に向上させることができる
  • クラスタの合計ディスク容量サイジングで考慮すべき事項
    • Low watermark
      • 個々のノードのディスク使用率が85%(設定で変更可)に達するとElasticsearchはそのノードへの新しいシャードの送信を停止するが、既存シャードにはデータが送られており、サイズが大きくなることに注意すること
    • High watermark
      • 個々のノードのディスク使用率が90%に達すると、クラスタはそのノードからほかのノードにシャードを再割り当てしようとする
        • クラスタの状態とほかのノードで使用可能な容量によっては、パフォーマンスに悪影響を及ぼす可能性がある
    • Replicas
      • レプリカの件数に応じて、線形に、より多くの容量が必要となる
        • 各レプリカは各インデックスの完全コピーであるため、個数分の同じ容量のスペースが必要になる
    • Sharding
      • より大きなシャードはインデックスされたデータを格納する方が効率的である(?)
      • シャーディングの設定はノード間で大きく異なる可能性があるため、必要なシャードの数を試してみる必要がある
        • ノードに障害が発生すると、使用可能なディスクが十分に存在する場合、シャードが他のノードに再割り当てされるため、予期しないディスク消費になることがある
  • キャッシュを適切に予測する

性能面について現在よりどころにできる文献はElasticsearch: The Definitive Guideしかないと思っているのですが、新しいバージョンについて出ることはないのかな…根本的に変わる部分がないので更新版は出しませんよ、というスタンスだとは理解していますが。




cinhtau.net

The aggregations framework helps provide aggregated data based on a search query. Using aggregations on my audit data gives me insight who used my Elasticsea...

TAN-VINH NGUYENさんによる記事。

ElasticsearchのJavaクライアントの使用方法を紹介しています。中々見かけないので貴重な気がします。




How to Migrate ElasticSearch Data Using Logstash - Alibaba Cloud - Medium

Engineers often find themselves in a position where they need to migrate data in ElasticSearch. The purpose of migrating a cluster could be to ensure data backup and system upgrade. There are just as many methods as there are reasons to perform the migration; for example, you can use ElasticSearch-dump, snapshot, or even reindex method.

Alibaba Cloudの担当者による記事。

あるElasticsearch(オンプレ)内のインデックスを別のElasticsearch(クラウド)へLogstashを用いて移行する内容です。

Alibaba Groupはいわゆる中国版Amazonで、AWSよろしくクラウドサービスもやっている巨大企業です。流石にElasticsearchのマネージドサービスをやっていることは知りませんでした。ドキュメントを見る限りではElasticsearch5.5.3が最新のようです。 ちょい古めですが、中国向けのサービスならあり?




Build a Serverless GeoSearch GraphQL API using AWS AppSync & Elasticsearch

In this tutorial, we're going to build an Elasticsearch-backed GraphQL API on AWS AppSync. All using the Serverless Framework. AppSync offers the ability to create serverless GraphQL APIs with much less backend code than previously possible.

フリーランスコンサルタントAndrew Griffithsさんによる記事。

serverless frameworkを使って緯度経度を使った地図検索GraphQL APIを作る方法を紹介しています。

severless frameworkはLambda関数などを作成できるツールで、サーバーレスなのにローカルでもテストできる!など話題になったのも記憶に新しいです。




3 tips for increasing search engine relevance in ElasticSearch

Written by Alexander Junger, Software Engineer Backend A couple of sprints ago my colleague and I were tasked with building a search engine for our new Balance food tracking app . Pulling out your smartphone and opening an app every time you consume your delicious gluten-free green smoothie requires some discipline.

Runtastic社のTech Teamによる記事です。

Runtastic Balanceのアプリ内検索エンジンを構築した際に得られた幾つかの知見を共有しています。




Simone Scarduzio's answer to What strategies did you use to improve Elasticsearch reliability? - Quora

ReadonlyRESTのLead DeveloperであるSimone Scarduzioさんの記事(...というより質問サイトの回答)。

Elasticsearchの可用性/完全性を担保するためにどうすべきか、外部SSOT(Single source of truth)として使用する際にどのようなアーキテクチャを採用すべきか、などが記載されています。

ReadonlyRESTはElasticsearch/Kibanaのセキュリティ関連プラグインのようです。 ユーザログイン機能などを担当するもので、単一ユーザの範囲であれば無償で利用できる模様。X-Pack Securityと比較してどうか?などは不明ですが、試してみる価値はありそう。




Setup ELK for NGINX logs with Elasticsearch, Logstash, and Kibana

ELK Elastic stack is a popular open-source solution for analyzing weblogs. In this blog post, I describe how to setup Elasticsearch, Logstash and Kibana on a barebones VPS to analyze NGINX access logs. I don't dwell on details but instead focus on things you need to get up and running with ELK-powered log analysis quickly.

WEB開発コンサルタントであるPaweł Urbanekさんによる記事。

Ubuntu 16.04にElastic Stackを構築して、nginxのログを可視化するまでの方法を紹介しています。




7 things to consider for improving ElasticSearch query performance

Nested fields are read performant compared to parent child documents. For instance, in the project I worked with our initial data model was parent-child. In a single query, our use case was to fetch the parent document matching the query criteria along with the child documents associated with it.

ThoughtworksのシニアコンサルタントであるSravanthi Naraharisettiさんによる記事。

Elasticsearchのクエリパフォーマンスを改善する際に考慮すべき7つの項目を紹介しています。項目は以下の通り。

  • 入れ子対親子
    • 親子ドキュメントは使わず、入れ子のドキュメントにすることでパフォーマンスが大幅に向上する
  • クラスタトポロジ
    • シャード数とノード数を適切に選択する
    • ノードについては、専任のコーディネートノードとデータノードを用意する
  • スワップを避ける
    • bootstrap.memory_locktrueに設定し、スワップを制御すること
  • マージを強制する
    • 検索やインデックス作成のリクエストが少なくなる夜間などピーク以外の時間にForce Merge APIをトリガーし、シャードごとのセグメント数を減らすこと
  • リフレッシュ間隔を調整する
    • デフォルトは1秒で検索可能となるが、調整する
  • terms aggregationクエリのパフォーマンス向上
    • クエリにterms aggregationがある場合は該当のフィールドでeager_global_ordinals: trueを設定することを検討する
  • range aggregationを最適化する
    • クエリにrange aggregationがある場合は、必要なデータが事前にindexされていることを確認すること



Searching with things not strings

Using elasticsearch's forthcoming annotated_text field to explore Wikipedia contents.

Elasticの中の人であろうMARK HARWOODさんによる動画。

Elasticsearch 7.xより導入されるannotated_text fieldについて、どういうものなのか紹介しています。 主に文章の中で注記をつけることができる機能で、注記部分を使って検索することができるようになる機能…なんでしょうか。まだよくわかっていません。

New Annotated_text field type by markharwood · Pull Request #30364 · elastic/elasticsearch · GitHubなどで詳しい議論もなされています。参考までに。




英語以外

Utilizando o ELK Stack como ferramenta de Business Intelligence

Como integrar um app Ruby on Rails pelo docker com o ELK Stack Conheço o ELK Stack (Elasticsearch, Logstash, Kibana) a algum tempo e como desenvolvedor sempre tive a - errada - ideia que este conjunto de ferramentas fosse destinado apenas à análise de logs e acompanhamento da saúde das aplicações.

Rock ContentのエンジニアであるHugo Diasさんによる記事。

Ruby on RailsのアプリとElastic StackをDocker上にコンテナで立ち上げ、結合する方法を紹介しています。 具体的にはrailsアプリのロガーがLogstashにログ情報を送信し、Elasticsearchに投入するという内容です。




Instalando o Elasticsearch em um container Docker - Thiago Adriano - Medium

Veja nesse artigo como criar um ambiente com Elasticsearch utilizando o Docker Recentemente eu criei um artigo apresentando o Elasticsearch, hoje irei demonstrar como criar um ambiente com Elasticsearch utilizando o Docker. Caso tenha interesse em ler o meu primeiro artigo, segue o seu link: Introdução ao Elasticsearch.

Thiago Adrianoさんによる記事。

Elastic社の提供する公式DockerレポジトリからElasticsearchをpullして起動、簡単な動作確認をするまでの方法を紹介しています。




先週の漏れ

Getting started with Elasticsearch in Python - Towards Data Science

In this post, I am going to discuss Elasticsearch and how you can integrate it with different Python apps. ElasticSearch (ES) is a distributed and highly available open-source search engine that is built on top of Apache Lucene.

Adnan Siddiqiさんによる記事。

PythonクライアントによるElasticsearchへのデータ投入および検索の方法を紹介しています。ついでにWebスクレイピングも。

適宜、初学者に対するフォローが記載されるので良いです。

また、REST APIをたたくときはPOSTMANを使うのがオススメだよ、とかChromeのElasticSearch Toolboxを使えばElasticsearch内のデータを簡単に見れるよ、など紹介しています。 (どちらもKibanaを用意できるならDevtoolやDiscoverで十分と思いますが…後者はだいぶアップデート状況も古いようなので使わない方が良さそう。)

And if you are going crazy or your girlfriend have dumped you, you can burn the entire world by running curl -XDELETE localhost:9200/_all from command-line.

エモい。




Fast Order Search Using Yelp's Data Pipeline and Elasticsearch

Fast Order Search Using Yelp's Data Pipeline and Elasticsearch Dmitriy Kunitskiy, Software Engineer Jun 1, 2018 Since its inception in 2013, Yelp has grown its transactions platform to tens of...

YelpのエンジニアであるDmitry Kunitskiyさんによる記事。

Yelpは長らくMySQLを利用していたが、いつしかそれは遅く煩わしいものになっていた…そこでElasticsearchにリアルタイムでデータを反映、検索することでパフォーマンスが改善できたよ!という記事だと思います。いかんせん長くて全部読み切る前にバテてしまいました…。

Yelpは国際的に展開している各種ローカルサービスのレビューサイトで、このあたりの記事をご覧になられると背景が理解できると思います。




今週はこのあたりで。 平日にもちょっとずつ調べておくべきなんだけど、週末に一気にやってしまう癖をやめたい。

今週のElastic News (2018/05/27~2018/06/02)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今週の注目情報

Elasticsearch カテゴリーの記事一覧 - やさぐれSEの技術メモ

皆が辛い思いをしないようにハマったポイントなどを書きます

4月末から1ヵ月ほどかけてElastic Stackの導入に際して知るべきこと/検討すべきことをまとめられているブログがあることを今週になって知りました。 id:gitya107さんのブログです。 日本語では中々記載されていない情報や、実業務で使用していないと分からないことなど、貴重な情報が盛りだくさんで、オススメです。ありがたや…




公式ブログ

ENGINEERING

Seven Tips for Better Elasticsearch Benchmarks

This blog post is based on the talk Seven Deadly Sins of Elasticsearch Benchmarking at Elastic{ON} 2018. Performance is a key feature of Elasticsearch. Our development team runs benchmarks to evaluate the performance characteristics of new features or to measure the effectiveness of performance improvements.

Elasticsearchに限らず、システムをベンチマークする際に留意すべき7箇条について述べた記事。 また、ElasticsearchベンチマークツールとしてElastic社製のRallyを紹介している。

  1. システムセットアップ:  できるだけプロダクション環境に近くかつシステム全体が再現可能な環境でベンチマークすること。
  2. ウォームアップ:  負荷がかかり始めてすぐのスループットはスパイクを吸収できる余裕があるので、有効なベンチマーク結果ではない。ちゃんとサチり初めてからを有効なベンチマークとすること。
  3. ワークロード:  プロダクション環境と同じようにシステムに対するアクセスパターンをモデル化すること。
  4. ベンチマークソフトウェアにもバグがあることに注意:  やりたいベンチマークを実行できるか?を事前に実験し、確認しておくこと。
  5. 偶発的なボトルネックに注意する:  ターゲットシステム以外がボトルネックとなっている場合、偽の結果になるので注意すること。特に可能性が高いのはネットワークの飽和。まずはターゲットシステムのパフォーマンスを測定するのではなく、ネットワークの最大パフォーマンスを測定すること。
  6. 構造化プロセスを用いる:  カオスなベンチマークは毒であることを認識し、再現可能なテストを実行すること。また、再現できるように記録を取っておくこと。
  7. 統計を取る:  実行ごとにGCJIT、OSスケジューラの動作は異なるため、複数回実行して、統計的優位性検定をすること。

結論として、色々な観点があってベンチマークは難しいけれど、記事に示した7つのヒントを参考によい測定結果を得て、正しい意思決定をしてほしい、と結んでいる。




Understanding your teams Elasticsearch usage with Elastic Cloud Enterprise

Requirements: Elastic Cloud Enterprise 1.1+ Cluster Names with team name The ECE REST API to retrieve Elasticsearch cluster information offers quite a bit of useful information about running clusters, snapshot status, and historical information of any configuration changes.

個人では使わないため、比較的謎に包まれているECE(Elastic Cloud Enterprise)についての記事。 ECEのAPI呼び出しから3つのチーム(Sales/Security/AppDev)が使用するクラスタの使用状況について、以下の情報を呼び出し、Kibanaで可視化する流れを記載している。

  • チームごとのElasticsearchメモリ使用状況
  • チームごとのElasticsearchディスク使用状況
  • 上記2つの情報の時系列変化



Monitoring an application running in Docker containers and Kubernetes with the Elastic Stack

An introduction to the benefits of Elastic modules and autodicover feature when monitoring the logs and metrics from a Docker container environment. Collect, search, and visualize the logs and metrics from your application, Docker, and Kubernetes all in one place.

Dockerとk8sを対象としたモニタリングについての概要記事。 もう既にFilebeatやMetricbeatに親しんでいる人であれば、動画を見た後にそれぞれのBeatsのAutodiscoverを説明したドキュメントを読めば使えそう。




Elastic Stack Updates

Keeping up with Kibana: This week in Kibana for May 28, 2018

Welcome to Keeping up with Kibana! This is a series of posts on new developments in the Kibana project and any related learning resources and events. The highlight of this week is the new Sample Data set on the home page. This new feature allows for a one-click getting started experience users new to Kibana.

今週のKibana更新内容についてのまとめ。 フィーチャーは以下の2つ。

One-click sample data
  • Kibana導入時点からサンプルデータ、サンプルダッシュボードが同梱されるようになる
    • 使い始める人にとって嬉しい改善
    • 個人的にも新しい人に紹介するときに助かりそう!
Canvas technology preview
  • Kibanaに関する(?)全てのUIコンポーネントをElastic's in-house UI frameworkに変換している最中
    • 最近、Workpadのヘッダーとpage settingsに関する幾つかの変更をマージした
      • その内容はあまり詳しく書いてない…
  • 新しいレイアウトエンジンを開発中
    • このエンジンにより、配置要素の移動、リサイズや回転が簡単になる
    • キーボードコマンドも追加される
    • 3D変形のデモがGif画像で張られている

Kibana Canvasの更新については、Canvas Technology Previewで直近の開発状況を公開しているとのこと。(こんなんあったのか…知らなかったにょ。)

さらに言うと、この内容はdiscussにあるCanvas Blog Stream - Elastic Community / Elastic Stream - Discuss the Elastic Stackの最新20件を表示しているものなので、昔の内容を見たい人はこちらを参照のこと。




This Week in Elasticsearch and Apache Lucene - 2018-06-01

Cross Cluster Replication The primary focus last week was on benchmarking, specifically getting to a point where we index full speed to an index in one region and the follower index in another region keeps up. If you remember, in last week update we reported indexing a 30GB data set and that was fully replicated but it took ~11 hours to complete.

今週のElasticsearch更新まとめ。 SQLの話が気になるけど、記事途中で張られてるODBSドライバのGitHubリポジトリ、リンク切れてる…切れてない?




公式ウェビナー

Kibana Dashboards: Level Up | Elastic

Kibana has many ways to visualize your Elasticsearch data and now you want to take your Kibana dashboards to the next level. Join Elastic for a live demo on customizing your Kibana dashboards and visualizations. Are you using all of the features Kibana offers?

Kibanaに関するウェビナーが開催されてた。まだ見れてないので内容は不明。見なきゃ…




Qiita

Elasticsearch

コマンドライン2行:ElasticSearch + Kibana 環境を Docker on Mac で作る(2018年5月時点)

2018-05-29T04:52:33,705][INFO ][o.e.n.Node ] [] initializing ...

コンテナからホストに簡単に接続する方法(host.docker.internal)は初めて知りました。




その他ブログなど

Elasticsearch 6.x で join datatype と has_child, has_parent クエリを試した | cloudpack.media

tl;dr 参考join datatype と has_child, has_parent クエリ-- join datatype-- has_child, has_parent クエリ  -----...

Elasticsearchでドキュメントの親子関係を表現するにはどうすればよいか?の解説記事。 子の条件で親を検索したり、親の条件で子を検索したりもできる。便利。

ちなみに公式ドキュメントを覗くとわかる通り幾つか制約がある。

Parent-joinの制約
  • indexあたりに設定できるjoinフィールドは1つだけ
  • 親と子のドキュメントは同じshardに保存されている必要がある
  • 親は複数の子を持つことができるが、子は複数の親を持つことはできない
  • 既に存在しているjoinフィールドに新たな相関関係を追加することはできる
  • 既に存在しているドキュメントに子供を追加することもできる(ただし、対象のドキュメントが既に親である場合に限る)



文書検索サービス|CACの高品質なAWS支援サービス「enterpriseCloud+」

文書検索サービス|CACが提供するeC+は、AWSをより簡単により便利にご利用いただくためのエンタープライズ企業向けのクラウドサービスです。AWSの導入を検討している企業様に、開発から運用まで低コストで高品質なオールインワンサービスを提供します。まずは、無料診断へ。

AWS Elasticsearch Serviceに絡めた構成例。




「Elasticsearchって何?」|IT勉強会ならTECH PLAY[テックプレイ]

Elasticsearchとは Javaで記述された全文検索ソフトウェアである! ※引用 「Lucene」(ルシーン)  Javaで記述された全文検索ソフトウェアである。 あ...

Elasticsearchに関する軽い説明。




fluentdを利用してログ収集を簡単にしよう! - OthloBlog - オスロブログ -

おはこんばんちは!@ジュジュです! 今回のブログではRubyで書かれたログ収集の万能マン fluentd について書こうかと思います。プラグインも含め開発者がほとんど日本人のソフトウェアです。なんだか誇らしいですね。 対象読者 ログ収集って面倒くさいよねって思っている人。 fluentdって聞いたことあるけどまだ使ったことがない人。 ログの収集をハンドリングしたいインフラエンジニア。 ...

名古屋のIT系学生コミュニティOthloTech(id:othlotech)さんの記事。 FluentdでElasticsearchにデータ投入するまでの流れを解説。




Amazon Elasticsearch Service クラスタを作成するだけの CloudFormation テンプレートを作った #ただそれだけ - ようへいの日々精進XP

ただそれだけ の CloudFormation 初心者, 川原です. タイトルの通り, Amazon Elasticsearch Service クラスタVPC 内にサクっと作成する CloudFormation テンプレートを作成しました. 作成したテンプレートは, 以下の リポジトリ にアップしています...

id:inokaraさんのブログ記事。 AWSで大量のElasticsearch Serviceクラスタを立ち上げたいときに参考になりそう。




Logging with ElasticSearch, Kibana, ASP.NET Core and Docker

In this tutorial, I'll show you how you can get up and running with ElasticSearch, Kibana and ASP.NET Core 2.1 Before we get started, let's look at what ElasticSearch, Kibana and Serilog are. In simple terms, ElasticSearch is an open source database that is well suited to indexing logs and analytical data.

ASP.NET CoreのログをElasticsearchに投入してKibanaで可視化する方法を記載している。 ASP.NET Coreはマルチプラットフォームで動作する.NET環境らしい。 データの投入にはASP.NET CoreのプラグインであるSerilogを使用している模様。

今週のElastic News (2018/05/20~2018/05/26)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今週の注目情報

Elasticsearch実践ガイド | 惣道 哲也 |本 | 通販 | Amazon

impress top gearの実践ガイドシリーズにElasticsearchが登場するみたいです。 2018/6/15発売予定。もちろんポチりました。 なかなか日本語による書籍が少ないので楽しみにしています!

公式ブログ

ENGINEERING

Elastic Stack Updates

  • Keeping up with Kibana: This week in Kibana for May 14, 2018 | Elastic
    • Elastic社内で開催されているall-hands meetingのKibana編っぽい…ほかのプロダクトについては公開されないのかな?
    • 気になった内容は以下
      • TypeScriptサポート
      • 今後変わっていくKibanaの新しいプラットフォームについて
      • 6.3リリースに向けて絶賛テスト中だから皆待っててくれよな!

Qiita

Elasticsearch

その他ブログなど

このブログについて

Elasticに関するネット上の情報をまとめて閲覧できる日本語のサイトが見当たらないので自分でまとめていくことにした。

主なウォッチ対象

公式ブログ

www.elastic.co

Qiitaの記事

qiita.com

その他よくElasticに関する知見を投稿しているブログ

dev.classmethod.jp

acro-engineer.hatenablog.com