Elasticlover

Elasticlover

Elastic Stackに関する1週間分のネット情報をまとめるブログです。

今週のElastic News (2018/07/08～2018/07/14)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

各記事における（）内は筆者意見です。

今週の注目情報

ElastiK Nearest Neighbors - Insight Data

For my Insight Data Engineering project, I built an Elasticsearch plugin to simplify the implementation of large-scale K-Nearest Neighbors (KNN) in online applications. The key features include: Running approximate KNN search on a corpus of 7 million items with sub-second search time and support for many parallel searches.

  • Alex Klibiszさんによる記事です
    • オンラインアプリケーションでK-Nearest Neighborsの実装を簡素化するElasticsearchプラグインを作成したので、それを紹介する…という記事です
      • 主な機能は以下の通り
        • 1秒未満の検索時間と多数の平行検索のサポートを備えた700万件のコーパス上での近似KNN検索の実行
        • コーパスに新しい項目を継続的に追加し、即座に検索を可能にする
        • HTTPエンドポイントを介してすべての機能を公開する
        • アイテムの検索、索引付け、格納のための水平スケーラビリティを有する
      • 現時点では、まだPoCの段階なので今後は以下の改善に取り組むとしています
        • コードをリファクタリングして拡張とテストを容易にする
        • ユークリッド距離のみをサポートしているので他の距離メトリックを追加する
          • 例：コサイン距離
        • KNNクエリを他のクエリと組み合わせられるようにする
          • 例：最近2日間に追加された最近傍のみを検索する
    • （Twitterを観測していた限りでは今週はかなりこの記事がバズっていた気がします）
    • （K-Nearest Neighborsは機械学習でよく用いられるアルゴリズムの1つで、日本語ではk近傍法と呼ばれます）

Elasticsearch-Aknn Image Search Demo

Uploaded by Alex K on 2018-05-13.

  • 同時にアップロードしている動画では、実際にK-NNで類似画像検索する様子をデモしています
    • 検索対象画像ファイル数は670万
    • 各画像ファイルは1000次元のベクトルで表現
    • 検索時間の中央値は200ms程度



公式ブログ

ENGINEERING

Elastic APM Java Agent Beta Released

We are happy to beta release the Java agent for Elastic APM. Kick the tires, let us know what you think as you monitor application performance.

  • Felix Barnsteinerさんによる記事です
    • Elastic AMPのJavaエージェントがβ版になったことを祝し、使い方を紹介しています



Aprendizaje automático para logs de Nginx: Identificar problemas operativos en su sitio web

Obtener información de los archivos de log de nginx puede ser complicado. Este artículo del blog muestra cómo se puede usar el aprendizaje automático para extraer información operativa a partir de grandes volúmenes de datos de log de nginx.



How to Develop Your Own Security Extensions and Custom Realms for Elasticsearch

Elasticsearch provides authentication and authorization capabilities for the Elastic Stack, and has long had the ability to extend these capabilities through X-Pack security extensions. The most common use for these extensions has been to write custom security realms which support authentication mechanisms that are not included natively by X-Pack.

  • Tim Vernumさんによる記事です
    • Elasticsearch6.3以降では標準で提供されていない独自のセキュリティ拡張機能とCustom Realmを、より簡単に定義できるようになりました
    • この記事ではeコマースストアのセキュリティ拡張方法についてサンプルコードを交えて紹介しています



Monitoring Kubernetes and Docker Containers with Beats: Logs, Metrics, and Metadata

This blog is about monitoring a container environment - which could include Google Kubernetes Engine (GKE), IBM Cloud Kubernetes Service, and any other Kubernetes (k8s) and Docker environments. For the purposes of this blog, though, I am using the IBM Cloud Kubernetes Service. You might be wondering why I am writing about monitoring Kubernetes and Docker containers.

  • Dan Roscignoさんによる記事です
    • k8sのDaemon SetでBeatsをデプロイし、各Podのログとメトリックを取得する流れを紹介しています
      • （Daemon Setは全てのノードに1つずつ同じPodを動かす機能のこと）



Elastic Stack Updates

Brewing in Beats: Mac installer for Beats

Welcome to Brewing in Beats! With these weekly series, we're keeping you up to date with what's new in Beats, including the latest commits and releases. Did you know that Beats 6.3 is already available? Try it and let us know what you think. We are improving our MacOS integration.

  • Monica Sarbuさんによる記事です
    • ここ最近のBeatsアップデートサマリ。気になるところをピックアップすると…



Keeping up with Kibana: This week in Kibana for July 9th, 2018

Welcome to Keeping up with Kibana! This is a series of posts on new developments in the Kibana project and any related learning resources and events. The Elastic Maps Service landing page is now available! This page shows the data behind the vector layers that can be joined to Elasticsearch data in Kibana region maps.

  • Jin Muさんによる記事です
    • 先週1週間のKibanaアップデートサマリ
    • 気になった点に絞って紹介
      • Geo
      • Canvas
        • チャートの配色について幾つかのパターンからGUIで選択設定できるようになった
        • 関数の呼び出しが大文字、小文字を区別しないようになった
          • "pointseries"でも"pointSeries"でも"PoInTsRiEs"でも同じ機能を呼び出すようになる
      • Platform
      • Management
        • visualizationでRollup Index Patternをサポートすることに取り組んでいる
          • （現在のバージョンではRollupでAggregation結果のみを残した場合、KibanaのVisualizationで可視化することはできません。それを可視化できるようにする話と思われます。）
      • Visualizations



This Week in Elasticsearch and Apache Lucene - 2018-07-13

Kerberos The kerberos realm has been merged into the feature branch. We are currently working on a QA test that uses an actual KDC. Once the lookup realms feature has been completed, we will need to integrate the kerberos realm with lookup realms but this will not block the completion of the kerberos realm.

  • Paul Sanwald • Adrien Grand • Boaz Leskes • Jay Modi • Colin Goodheart-Smitheさんらによる記事です
    • 先週1週間のElasticsearchとApache Luceneアップデートサマリ
    • 気になった点に絞って紹介
      • Kerberos Realmが追加された
        • （Kerberos認証はSSOを提供するネットワーク認証方式の1つらしいです）
        • PRでの記述によればX-Pack Platinumで使用できる模様
      • 構造化されたAudit LoggingのためのPRを進めている
        • Audit Eventに対してlog4j StringMapMessageを使用することで、log4j設定を変更するだけで複数のフォーマットを試せるようになる
      • auto_date_histogramと呼ばれる新たなAggregationをマージした
        • date_histgramのように機能するが、時間間隔を指定するのではなく、バケットの最大数を設定するもの
          • 設定されたバケットの最大数を超えずに最も近い間隔を選択する



RELEASES

Rally 1.0.0 Released: Start Benchmarking your Elasticsearch Clusters

After more than two years in the making and more than 1400 commits from 27 contributors, we are proud to announce the 1.0.0 release of Rally, our benchmarking tool for Elasticsearch. To get started with Rally, check the quickstart in the docs. To help you improve your benchmarks, we also recently published seven tips for better Elasticsearch benchmarks.



公式ウェビナー

今週はまだ見れていないので、紹介文の要約のみです。

Security Analytics with Elasticsearch | Elastic

Using a variety of interactive techniques from user behavior tracking to network analysis, this demo highlights many features that make the Elastic Stack the security analytics platform of choice for organizations like Slack, USAA and more.

  • Samir Bennacerさんによるウェビナーです（52:01）
    • Elastic Stackをセキュリティ分析プラットフォームとして使用する際、以下の方法をどのように実現するかデモを交えて紹介しているようです
      • インシデントを迅速に解決する
        • ほぼすべてのWindows Server、Linuxからログデータを簡単に収集、保存、分析できる
      • 即時に洞察（Insight）を得る
        • データセンターから収集されたリアルタイムデータに対してDeep Intelligenceを対話的に得ることができる
        • サーバとアプリケーションの依存関係をマッピングし、接続と対話を検出できる
      • マシンデータを変換する
        • 柔軟な検索とカスタマイズされたアラートでインシデントを素早く処理する



Observable Kubernetes with Elasticsearch | Elastic

With the Kubernetes and Docker module in Beats, sending logs and metrics from your containerization and orchestration environment to Elasticsearch is one command away. Additionally, the Autodiscover feature in Filebeat and Metricbeat dynamically launches configurations to keep monitoring the changing environment without skipping a beat, as pods and services come and go.

  • Adam Quanさんによるウェビナーです（1:00:14）
    • Beatsのk8s moduleとdocker moduleを使用して、各PodのログとメトリックをElasticsearchへ送信する方法をデモを交えて紹介しているようです



Qiita

Grafana5.2.0+でElasticsearch内のデータに対するAlertingを実行し、Discordに通知する - Qiita

2018/6/27にリリースされたGrafana 5.2.0で遂にElasticsearch内のデータに対するAlertingが実行できるようになりました。 （リリースノートはこちら） これまではElasticsearchの閾値検知の仕組みとして、X-Pack Alerting以外の選択肢は Elastalert ぐらいでしたが、そこに新たな方法が浮上したことになります。 ...

  • わたしですo^
    • Grafanaの5.2.1を使用してElasticsearch6.3.1に格納されたデータに対するAlertingを実行する方法を紹介しました



Dockerで動かすTomcatとElasticのAPMを繋いでパフォーマンスを可視化する - Qiita

概要 2018年7月9日に[Elastic APM Java Agent Beta Released](https://www.elastic.co/blog/elastic-apm-java-agent-beta-releas...

  • @tsgkdtさんによる記事です
    • Elastic APM Javaエージェントがβになったことを受けて、Docker上のTomcatコンテナにおけるパフォーマンスを可視化する方法を紹介しています
      • 既存のイメージを再ビルドする必要なく、docker-compose.ymlにおけるtomcat serviceに記述を追記するのみで実現できてお手軽とのこと



EC2にElasticsearch、Fluentd、Kibanaを入れる方法 - Qiita

AWSにElasticsearch Serviceがあるので、そちらが使えれば使った方が良いが今回は勉強の為、あえてEC2にインストールした。 あとから思い出しながら書いているので、間違えている箇所があるかも・・。 ## 前提 - ...

  • @muraponさんによる記事です
    • EC2で立ち上げたFedora系OS上にElasticsearch、Kibana、Fluentdをインストールし、Apacheログを投入する方法を紹介しています
      • インストールするElasticsearch、Kibanaのバージョンは5.5.0
      • また、アクセスログのテスト用ログを出力する方法としてapache-loggenを紹介しています



FilebeatでApacheアクセスログの取り込み(レスポンスタイムフィールド追加) - Qiita

Filebeatのapache2モジュールを使用してアクセスログを取り込んだが、デフォルトではレスポンスタイムは取り込まれていないようだったので、取り込むよう対応してみた。 とりあえずメモです。 Elasticsearch、Kibana、Filebeatインストール用のリポジトリを配置。 [elasticsearch-6.x] name=Elasticsearch repository for 6.x packages baseurl=https://artifacts.elastic.co/packages/6.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md 下記のものをインストール。 yum install -y java-1.8.0-openjdk-devel elasticsearch kibana filebeat httpd 外部から接続できるよう設定し、Elasticsearchを起動する。 /etc/elasticsearch/elasticsearch.yml - #network.host: 192.168.0.1 + network.host: 0.0.0.0 [root@es ~]# systemctl restart elasticsearch [root@es ~]# curl http://127.0.0.1:9200 { "name" : "4FH6KEs", "cluster_name" : "elasticsearch", "cluster_uuid" :

  • @wagさんによる記事です
    • FilebeatでApacheアクセスログを取り込む際にレスポンスタイムフィールドを追加する方法を紹介しています
      • （私もレスポンスタイムフィールドぐらいFilebeatの取得対象に追加してくれても良いとは思うのですが、Apache2のデフォルトLogFormatには処理時間が出力されない設定になってるんですよね…）



その他ブログ記事など

日本語

Fluentd1.0 で ElasticSearch6.3 に WOWHoneypot のログを投入

送信側サーバ（WOWHoneypot + Fluentd）と受信側サーバ（ElasticSearch + Kibana）の2つのサーバの場合。 送信側。 Fluentd のサーバと ElasticSearch のサーバは異なるため、Fluentd -> ElasticSearch という方向でアクセス許可を行う。 AWS のコンソールより、セキュリティグループで fluentd からのアクセスを許可する。 Fluentd サーバから以下のコマンドでアクセスできることを確認する。以下のコマンドは送信側から打つ。 curl http://172.31.31.131:9200 通信が成功したら以下のようなレスポンスが帰ってくる。 { "name" : "0St5H1h", "cluster_name" : "docker-cluster", "cluster_uuid" : "SXj3orxOSAKouZVhxQyKdw", "version" : { "number" : "6.3.1", "build_flavor" : "oss", "build_type" : "tar", "build_hash" : "eb782d0", "build_date" : "2018-06-29T21:59:26.107521Z",



JANOG41 Wi-Fiチーム報告書3(運用監視ツールの紹介)|IIJ Engineers Blog

こんにちは、JANOG41 NOC(Wi-Fi)チームの金子です。 これまでの2回の記事（ 第1回｜ 第2回 ）で紹介してきたように、JANOG41 Wi-Fiチームでは会場無線LANの提供にあたりその構築・運用を行ってきました。 運用に当たってはネットワーク状況のモニタリングが必要不可欠です。これにあたりPrometheusやcactiなどOSSベースの監視ツールを活用していることはいわずもがなですが、IIJが開発している機器管理サービス SACMや、データ可視化サービス Machinistを全面的に利用しdogfoodingするというのが我々の基本方針となっています。

  • JANOG41 NOC(Wi-Fi)チームの金子 直矢さんによる記事です
    • JANOGで提供されるWi-Fiの運用監視ツールとしてElasticsearch+Kibana（その他OSSや自作可視化ツールもたくさん！）を活用している事例を紹介しています
      • （構成図を見ると主にNetFlowの可視化にElasticsearch+Kibanaを使っていたようです）



AWS Cost Explorer を使用する、Amazon Redshift、Amazon ElastiCache、Amazon Elasticsearch の予約のためのリザーブドインスタンス (RI) 購入推奨へのアクセス

これらの推奨事項を生成するために、Cost Explorerはまずお使いのインスタンスの使用状況を分析して、上記のサービスのそれぞれについて RI で対応できるオンデマンド使用のすべてを自動的に特定します。これに基づいて、Cost Explorer は割引 RI 料金でオンデマンドの使用量の最適な代用となる RI の購入推奨を生成します。推奨事項が組織のニーズに合うことを確実にするために、RI パラメーターと (例: 1 年契約で一部前払いオプションがある RI の推奨のみを返す)、推奨を計算する過去の使用期間 (例: 過去 60 日間) を調整することができます。ビジネス ニーズに対応する最適な RI の組み合わせを特定すると、AWS Cost Explorer にあるリンクから個々の AWS サービスのコンソールに直接移動できます。

  • AWSによるアナウンスです
    • Amazon Elasticsearch Serviceの予約のためのリザーブドインスタンス購入推奨にAWS Cost Explorer経由でアクセスできるようになりました
      • Amazon Elasticsearch Serviceを使われている方は費用改善に繋がるかもしれません



当社社員が世界初のElastic Certified Engineerに認定されました | Acroquest Technology株式会社(アクロクエストテクノロジー)

ビッグデータ分析／可視化ソリューション事業を展開するアクロクエストテクノロジー株式会社（本社：神奈川県横浜市、代表取締役：新免流、以下「アクロクエスト」）は、当社社員の吉岡洋（顧客価値創造部門 データアナリティクス シニアコンサルタント）が2018年6月29日より開始されたElastic Certificationの認定を取得して、Elastic Certified ...

  • Acroquest Technologyさんのプレスリリースです
    • Acroquestの吉岡さんが、日本人初…どころかElastic社以外のエンジニアとしては世界初のElastic Certified Engineerに認定されました！
      • （まずはトレーニングを受けてから受験しよう、と考える方が多そうな中でチャレンジし、認定されることは凄いことだと思います）



docker-elkを使って過去のCloudTrailのログをサクッと分析してみた | Developers.IO

こんにちは、佐伯です。CloudTrailのログを分析をする機会がありました。どうやって分析しようかなと考えていたところ、GitHubで docker-elk を発見し、お手軽で便利だったので紹介させて頂きます。 以下の環境で実施しています。 macOS High Sierra version 10.13.5 Docker CE for Mac version 18.03.1-ce-mac65 Docker Compose version 1.21.1 docker-elk をcloneします。 $ git clone git@github.com:deviantony/docker-elk.git Cloning into 'docker-elk'... remote: Counting objects: 1317, done. remote: Total 1317 (delta 0), reused 0 (delta 0), pack-reused 1317 Receiving objects: 100% (1317/1317), 272.64 KiB | 254.00 KiB/s, done.



英語

Logstash Authentication with SSL certificates

personal blog, profile, whateverest of Benjamin Knofe

  • Benjamin Knofeさんによる記事です
    • BeatsとLogstashの間の通信についてSSL証明書に基づいた独自の認証にする方法を紹介しています



Elasticsearch With Django - Part 4 - BoTree Technologies

In previous articles (Here you can read -  part1 part2 and part3) we have seen that how queries work on Elasticsearch engine via terminal. Now let's discuss about integration with Django application. Let's start with creating a new Django project. First you create a virtual environment with virtualenv elastic_env and enter it with source elastic_env/bin/activate in order to keep everything contained.

  • Daxita Rajputさんによる記事です
    • DjangoプロジェクトでElasticsearchと接続する方法を紹介しています
      • 過去4回にわたるポストの最終回



Rated Ranking Evaluator: Help the poor (Search Engineer)

A Software Engineer is always required to give his customers a concrete evidence about deliverables quality. A Search Engineer deals with a specialisation of such generic Software Quality, which is called Search Quality. What is Search Quality? And why is it so important in a search infrastructure?

  • ANDREA GAZZARINIさんによる記事です
    • ElasticsearchやSolrに対する検索の品質を評価するツール「Rated Ranking Evaluator」を紹介しています
      • これを用いることでCIの一環としてビルドする毎に検索品質をテストすることができます



Open Source Elasticsearch Security: Using Cilium for Elasticsearch Access Control with No App/Container Changes

Elasticsearch APIs provide mechanisms for storing and searching JSON documents. Documents are grouped into an index, which typically stores many documents of a single type (e.g., user transaction data, or network access logs). A user of the Elasticsearch API selects an index, and then may create, update, delete, or search documents within that index.

  • ciliumによる公式記事です
    • k8sやDocker上のElasticsearchのアクセス制御（セキュリティ対策）にCiliumを用いることの利点や適用する方法を紹介しています



Use Amazon Connect data in real time with Elasticsearch and Kibana | Amazon Web Services

In this blog post, we demonstrate how you use Amazon Elasticsearch Service (Amazon ES) and Kibana for real-time analytics for your Amazon Connect contact center. You can monitor your contact center performance to improve a variety of service metrics, such as call times, service level, efficiency, agent performance, and customer satisfaction.

  • Randall DuBois, Revanth Anireddy, Loc Trinh, Piyush PatelさんらによるAWS公式ブログ記事です
    • AWS Connectコンタクトセンターのリアルタイム解析にAmazon ESとKibanaをどのように使用するかを紹介しています



Using Rollup to merge old logs with Elasticsearch 6.3

Auteur(s) : Tags : Log storage and analysis is one of the most popular usage of Elasticsearch today, it's easy and it scales. But quickly enough, adding nodes cost too much money and storing logs from multiple months or years can be tricky.

  • Damien Alexandreさんによる記事です
    • Elasticsearch 6.3から使用可能になったRollup APIで古い日時のログをマージする方法を紹介しています
      • これまではBulk、Scan、Scroll、Delete By Query APIの助けを借りて、古いデータのマージ、削除を手作業で行ってきたが、6.3からはRollup APIでできるようになる
      • Elasticsearch用のテストデータ生成には「elasticsearch-test-dataを使用すると良い
      • 以下のようなジョブを作成後、ジョブを開始する
        • 10日以上経過したdocumentを対象とし、
        • bytesというフィールドのmin、max、sumをaggregationした結果を
        • url.keywordで分割する
      • rollup APIによって処理された結果は_searchAPIではなく_rollup_searchAPIでアクセスする必要がある
      • Rollupされた生データは自動で削除されないため手動で削除する必要がある
        • （これはちょっと大変そうですね…）



Reduce ETL process time 9X with Cassandra and Elasticsearch

A Fortune 1000 company needed to reduce the time it took to ingest, read, and search its data. Read on to learn how partnering with Shadow-Soft helped the company reduce ETL process time 9X and improve search query time 37X.

  • John Cabanissさんによる記事です
    • NoDBとSolrの組み合わせからCassandraとElasticsearchの組み合わせに乗り換えたことによりETL(Extract / Transform / Load)処理時間を1/9に短縮し、検索クエリ時間を1/37に短縮した事例を紹介しています
      • ETLプロセスは3日（24*3=72時間？）から6.5時間に改善
      • 必要なメモリ量は360TBから180TBに改善
      • クエリ時間は7.5秒から0.2秒に改善



Container Native Monitoring Insights with Elastic on IBM Cloud - IBM Cloud Blog

Learn how to easily deploy a Kubernetes cluster in IBM Cloud and layer in the Elastic to provide container native monitoring.



Miroslav Popovic - Using Elasticsearch with ASP.NET Core and Docker

Recently, I got an assignment for my employer's internal project to investigate Elasticsearch and its usage from within ASP.NET Core 2.1 app. I had no prior knowledge of Elasticsearch, but I had some experience with Solr and earlier with NHibernate Search which also used Lucene under the cover.

  • Miroslav Popovicさんによる記事です
    • ASP.NET CoreアプリでElasticsearchを検索エンジンとして連携する方法を紹介しています
    • 方法を紹介した後、最後の段落では以下のようにまとめています
      • ElasticsearchとKibanaのアクセスを公開することは望ましくない
        • X-Pack Authenticate APIとSSL Certificate APIをチェックすること
      • 全てをインデックスに投げ込まずに意味のあるデータだけを投げること
        • データの投入でもパフォーマンスが低下するが最も重要なことは削除する必要があるときに問題になる
        • GDPR対応を考えても、ユーザデータは保護されている必要がある
      • Elasticsearchのドキュメントの品質は凄い
        • APIのリファレンス、スタートガイドのドキュメント、ベストプラクティス、クライアント向けの優れたガイドがある



それ以外の言語

Retour d'incident : Elasticsearch, l'aggrégation Histogram et la validation de données

Une de nos application a pour principe de base de rechercher dans notre base de données de livres, cette application reçoit des données de notre ERP pour les ajouter dans Elasticsearch. Pendant plusieurs minutes au cours du mois dernier cette application était indisponible en production, nous allons ici vous expliquer les raisons de cette indisponibilité.

  • Par Adrien Gallouさんによる記事です（フランス語）
    • 2018年5月の午後に、書籍データベースを検索するElasticsearchが本番環境で使用できなくなるほど減速するインシデントが発生。何が起こったのか、と解決策を紹介しています
      • 書籍の価格について、ヒストグラム集計で5€ごとのバケットに個数を集計していた
      • そこで、9,782,321,011.392,00€の商品が投入された結果、5€ずつ1,956,464,200,000個のバケットが作成されてしまった
      • 解決のためにminimum_doc_countを1にする設定を加えた
        • これにより、空のバケットは表示されなくなる



Деплой Elasticsearch на AWS с помощью Kubernetes за 10 шагов

Kubernetes aka k8s - это система с открытым исходным кодом для автоматизации развертывания, масштабирования и управления контейнерными приложениями. В этой статье я расскажу как настроить кластер Kubernetes и развернуть на нем кластер Elasticsearch в AWS. Эти настройки также работают на GCE и Azure.

  • Southbridgeさんによる記事です



Elasticsearch Soruları - Haydar Külekci - Medium

Uzun zamandır Elasticsearch konusunda e-posta ya da çeşitli sosyal mecralar üzerinden gelen soruları kapalı kapılar ardında cevaplamaya çalıştım. Bazılarına yetişemedim bazılarına kısa kısa cevaplayabildim. Her gelen soruda biraz daha heyecanlanarak ve testler denemeler yaparak cevaplar yazdım. Bazılarına gist olarak cevap yazarken bazılarını blog yazısına çevirdim. Ancak bazı sorular aralarda kaldı ve onları bir kenara yazamamıştım.



Небольшие трюки с Elasticsearch

Небольшая заметка, скорее для себя, о мелких трюках по восстановлению данных в Elasticsearch. Как починить красный индекс если нет бэкапа, что делать если удалил документы, а копии не осталось - к сожалению в официальной документации об этих возможностях умалчивают. Первое, что необходимо сделать, это настроить бэкапы важных данных.

  • divanikusさんによる記事です（ロシア語）
    • Elasticsearchで誤ってインデックスを削除してしまった場合、かつバックアップも保持していない場合やインデックスが破損してしまった場合にどのようにインデックスを復旧させるか？を紹介している記事です
      • インデックスが破損（Red）してしまった場合
        • インデックスをcloseし、Elasticsearchを停止、失敗したシャードのバックアップコピーを作成する
        • バックアップしたシャードに対してLuceneのCheckIndexを実行させると、すべてのインデックスをチェックし、破損したセグメントを削除する
          • 一部のデータは失われてしまうが、幸運なことに全てではない
      • インデックスを誤って削除してしまった場合
        • インデックスをcloseし、Elasticsearchを停止、インデックス（ファイル）を安全な場所にコピーする
        • Lucene4（Elasticsearch1.6）より下のバージョンの頃にはLucene APIにundeleteAllという関数があって、Lukeから直接呼び出すことができた
          • しかし、新しいバージョンでは機能が削除されているので、手動で「segments_N」というファイルをバイナリエディタで編集することで対応する
    • （こんな目に合わないよう、しっかりバックアップを取っておかないと…という気持ちにさせてくれる良いポストでしたｗ）



Nextcloud Volltext-Index mit Docker und Elasticsearch - nerdblog

Nachdem meine Nextcloud (siehe Installationsanleitung hier) seit einiger Zeit gut läuft, landen mehr Dateien darauf und der Wunsch nach einem schnellen Nextcloud Volltext-Index wächst. Ich bildete mir zwar ein, das schonmal am Laufen gehabt zu haben, aber das tat es nicht (mehr). Daher hier, was ich dazu nun getan habe.

  • Dirk Steinkopfさんによる記事です（ドイツ語）
    • Nextcloudの全文検索機能としてDockerで用意したElasticsearchコンテナを連携する方法を紹介しています



今週は以上です。

"Everything that lives is designed to be elastic."