Elasticlover

Elasticlover

Elastic Stackに関する1週間分のネット情報をまとめるブログです。

今週のElastic News (2018/11/18～2018/11/24)

皆さん、こんにちは。@j-yamaです。

今日は、いつものニュースまとめに移る前にElasticloverの新しい試みについて紹介したいと思います。



以前、第23回Elasticsearch勉強会で「Elasticsearchに関連する最新ネット情報を収集する方法」を紹介した際にはTwitterのツイート情報はDiscordに通知してチェックするようにしていました。

このツイート情報から最新記事のURLをチェックするのは結構大変で、具体的には以下のような課題を抱えていました。

  • 全てのリンクを手動で踏んでいたので、同じリンク先へ複数回訪問する無駄がある
    • 短縮URLのリンクが多く、リンク先がどこへのリンクかわからないのも拍車をかけました
  • 求人情報や講座動画スパムなどノイズツイートが多い



しかし、最近になってツイート情報を自宅ローカルサーバー内のElasticsearchに格納し、Kibanaダッシュボードで確認するようにしたら、とても楽になったんです。

そこで、

「どうせならこのダッシュボードをWEB公開したい」

と思いつつも

「仮に公開したとしてインスタンス維持費が厳しいんだよなぁ…個人で継続可能とは思えない」

と悩める日々を過ごしていました。

そんな愚痴をElasticlover Discordチャンネルに投稿したところ、Mr.elasticsearchjpな@johtaniさんから次の提案をいただきました。

「私のElastic Cloudの環境をお貸ししましょうか？コミュニティサポートしてもらってる御礼ということで。」

え、いいんですか！？



…と、前置きが長くなりましたが、本日からElasticsearchについてのツイートに関する情報を閲覧できるKibanaダッシュボードを公開することにしました。以下のリンクからどうぞ！添えたIDとパスワードでログインするとダッシュボードオンリーユーザーとして閲覧することができるはずです。

Elasticlover Kibana

  • ID: elasticlover
  • password: watchtwitterinfo

f:id:j__yama:20181125161938p:plain

まぁ、ご覧の通り、今のところ出来がとても良いダッシュボードではないです。「こうしたら良くなるんじゃない？」「こういう情報も見れたら嬉しいんだけど」などあれば是非コメントやツイートで反応いただけると嬉しいです。

環境提供いただいた@johtaniさん、本当にありがとうございます。この場を借りてお礼申し上げます。

以上、新しい試みについての紹介でした。 以下、いつも通りのElasticloverをお楽しみください。



今週、Elasticについて新たにWEBで観測した情報をまとめます。 （個人的に注目だと感じた記事は太字で紹介しています。）

公式ブログ

RELEASES

  1. Elastic APM Go Agent 1.0.0 Released | Elastic
  2. Elastic APM Java Agent is Generally Available | Elastic



ENGINEERING

  1. Kickstart Search with the Elastic App Search Reference UI | Elastic
  2. Uptime Monitoring with Heartbeat and the Elastic Stack | Elastic



Elastic Stack Updates

  1. This Week in Elasticsearch and Apache Lucene - 2018-11-23 | Elastic
  2. Keeping up with Kibana: This week in Kibana for Nov 12th, 2018 | Elastic



USER STORIES

  • なし



OTHERS(NEWS/CULTURE/...)

  • なし



ウェビナー

  1. Tips When Migrating to Elastic Cloud Enterprise (ECE) | Elastic



その他ブログ記事など

Elastic公式情報以外の記事はカテゴリ別に分類して紹介しています。分類の基準が気になる方は「このブログについて」を参照ください。

初心者向け（概説、インストールなど）

  1. Elasticsearchを検索サイトのアプリ屋視点でザクッとオーバービュー（公式リファレンスの検索関連注目） - はてだBlog（仮称）
  2. Oracle Cloud Infrastructure環境にElasticsearchとSudachiプラグインをインストール - Qiita
  3. Elastic Search / Kibana おすすめ学習参考資料まとめ - Qiita
  4. How to Install Elasticsearch 6.x on Fedora 29 / Fedora 28 - Computingforgeeks
  5. Principes de production pour un cluster ElasticSearch sur AWS
  6. Elasticsearch 教程（一）： 基础入门 - JaJian - 博客园
  7. Elasticsearch date 类型详解 - ReyCG - 博客园



検索、言語別クライアントの実装例

  1. Elasticsearchで簡単な検索とscoreを調整する方法 | レコチョクのエンジニアブログ
  2. Elasticsearchのマッピングについての自分的まとめ - はてだBlog（仮称）
  3. 23 Useful Elasticsearch Example Queries - DZone Big Data
  4. Django Polls App with Elasticsearch – Sergey Lyapustin – Medium
  5. Elasticsearch Java Rest Client API 整理总结 (三)——Building Queries - ReyCG - 博客园
  6. net core 2.x - 日志 - to elasticsearch - (2) - eSoftor - 博客园
  7. Elasticsearch의 색인 별명 활용 팁 - 리디주식회사 RIDI Corporation
  8. 用mysql fulltext search建立簡易搜尋引擎 – Changheng Liou – Medium
  9. Uczymy się Elasticsearch #010: o co jeszcze możemy zapytać? - Programista Na Swoim



ログ監視/ログ分析

  1. 第26回Elasticsearch勉強会「メトリック/ログ分析編」 - Above & Beyond
  2. GitHub - skubota/elblog2elasticserch: aws elblog to elasticserch service lambda function



モニタリング/パフォーマンス監視

  • なし



セキュリティ

  1. （Elasticビギナーが考えた）beatsを使った監査サービスの提案 - Speaker Deck
  2. Setting up Elasticsearch time-based indices
  3. Implementing Search Guard – Netwar System



データ分析/データ集計

  • なし



データ投入、可視化

  1. AWS Database Migration Serviceのターゲットとしての Amazon Elasticsearch Service の導入 | Amazon Web Services ブログ
  2. Kibanaのフィルタ - Qiita
  3. KinesisFirehose経由でElasticSearch@AWSに入力された緯度経度の値をgeo_point型として扱うには - Qiita
  4. Kafka Streams, Elasticsearch and Kibana – Brachi Packter – Medium



運用Tips、トラブルシュート

  1. 【Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
  2. サーチのUXチューニングとElasticsearchのmy覚書（まずはチューニングできる箇所の頭の整理） - はてだBlog（仮称）
  3. Kibana を 6.4.x -> 6.5 に バージョンアップして「Kibana server is not ready yet」が出てしまった場合 - Qiita
  4. Amazon Elasticsearch Service 6.x 用に curator をインストールする - mattintosh note
  5. Reindex Kibana from 5.6 to 6.x – sivaprakash ramasamy – Medium
  6. GitHub - BasLangenberg/vagrant-elasticsearch-kibana: A super simple Vagrant box for Elasticsearch and Kibana
  7. An Elasticsearch from the past | iMil.net
  8. ck :: ELK stack not sending notifications anymore because of DNS cache ::



その他

  1. 第27回Elasticsearch勉強会「LT&忘年会」2018.12 #elasticsearchjp | Meetup
  2. Elasticsearch のプラグイン開発 - Qiita
  3. Amazon Elasticsearch Service adds detailed cluster health monitoring
  4. Amazon Elasticsearch Service adds self-service updates for domains



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、こちらから参加ください。

今週のElastic News (2018/11/11～2018/11/17)

今週、Elasticについて新たにWEBで観測した情報をまとめます。 （個人的に注目だと感じた記事は太字で紹介しています。）

公式ブログ

RELEASES

  1. Elastic Stack 6.5.0 リリース | Elastic
  2. Elastic Stack 7.0.0-alpha1 Released | Elastic



ENGINEERING

  1. JavaアプリケーションをMetricbeatとJolokiaで監視する | Elastic
  2. 機械学習の異常スコアリングとElasticsearchの仕組み | Elastic
  3. LogstashとElasticsearchのIngestノード、どちらを使うべき？ | Elastic
  4. Introducing Kibana Spaces for Organization and Security | Elastic
  5. Migrating to Kibana Spaces | Elastic
  6. The Birthday Paradox (and Concurrently Indexing in Elasticsearch) | Elastic



Elastic Stack Updates

  1. This Week in Elasticsearch and Apache Lucene - 2018-11-09 | Elastic
  2. Keeping up with Kibana: This week in Kibana for Nov 5th, 2018 | Elastic
  3. This Week in Elasticsearch and Apache Lucene - 2018-11-16 | Elastic



USER STORIES

  • なし



OTHERS(NEWS/CULTURE/...)

  1. Explorers Wanted: Elastic Pioneer Program 7.0 | Elastic



ウェビナー

  1. Elastic Cloud Enterprise Demo (Spanish) | Elastic
  2. Deploying an ELK cluster in Google Cloud Platform (GCP) | Elastic
  3. Instrument and Monitor Java Applications using Elastic APM | Elastic



その他ブログ記事など

Elastic公式情報以外の記事はカテゴリ別に分類して紹介しています。分類の基準が気になる方は「このブログについて」を参照ください。

今週から「関連プロダクト」の区分は廃止し、プラグインやSaaSプロダクトについてもユースケース別に分類するようにします。目的が分かり難かったので。

初心者向け（概説、インストールなど）

  1. 【Chapter1：導入編】Ubuntu18.04でElastic Stack(6.4.x) - Qiita
  2. DockerでELK(Elasticsearch Logstash Kibana) を構築してみました - Qiita
  3. Ubuntu1810Desktopにkibana+ElasticSearchのコンテナを立ててみる - Qiita
  4. What is ELK Stack? How to deploy ELK using Docker, AWS EC2 and AWS Elastic Search
  5. Elastic search – Pramod Shehan – Medium



検索、言語別クライアントの実装例

  1. Elasticsearchの検索クエリのチートシートへのリンク集 - はてだBlog
  2. JoliCode - Elasticsearch ICU now understands emoji!
  3. Taming Your Data With Elasticsearch - PHP[world] - Speaker Deck
  4. Create a full search engine via Flask, ElasticSearch, javascript, D3js and Bootstrap
  5. Fuzzy Match on EPiServer.Find – Beerwulf – Medium
  6. ElasticSearch Search Syntax and Boolean and Aggregation Searches – BMC Blogs
  7. ElasticSearch Nested Searches: How to Search for Embedded Documents – BMC Blogs
  8. Localized Search Implementation with Elasticsearch | Akki's Workbook
  9. Boosting Search - Liferay Community
  10. scribbles...: Elastic search on gluster
  11. Elasticsearch Java Rest Client API 整理总结 (二) —— SearchAPI - ReyCG - 博客园
  12. 小白学ES 07 - Elasticsearch的多种查询方式 - 代码天地
  13. Elasticsearch 优化 - Harvard_Fly - 博客园



ログ監視/ログ分析

  1. Configuring fluentd on kubernetes with AWS Elasticsearch
  2. Analyzing API Gateway Access Logs with AWS Elasticsearch Service
  3. AWS EMR Log Aggregation and Visualization using Lambda, Elasticsearch, and Kibana
  4. ElasticSearch+Logstash+Filebeat+Kibana集群日志管理分析平台搭建 - readygood - 博客园



モニタリング/パフォーマンス監視

  1. Zabbixの監視データをElasticsearchに格納して利用する際のハマりポイント - Qiita
  2. Monitoring Docker Containers with Elasticsearch and cAdvisor | Web Code Geeks - 2018



セキュリティ

  1. Windows のイベントログを Winlogbeat+Elasticsearch+Kibana で可視化する
  2. AWS GuardDuty Monitoring with Logz.io Security Analytics and the ELK Stack | Logz.io
  3. A leaky database of SMS text messages exposed password resets and two-factor codes – TechCrunch
  4. Introducen en México la suite Search Guard, un plugin de código abierto para Elasticsearch - CIO MX



データ分析/データ集計

  • なし



データ投入、可視化

  1. Elastic Stack 6.5.0リリース記念　Kibana画面が変わったよ - Qiita
  2. Building a dashboard with React & GraphQL – Mitch Clay – Medium
  3. Insight: A Kibana Visualization Plugin – Talal S – Medium
  4. Alpakka - Connecting Kafka and ElasticSearch to Akka streams - Knoldus Blogs
  5. [ELK] ELK 스택으로 실시간 BTS(방탄소년단) 트윗 수집하기 – peter_yun – Medium
  6. 当Elasticsearch遇见Kafka--Logstash kafka input插件 - 云+社区 - 腾讯云



運用Tips、トラブルシュート

  1. Elastic Stack 6.4.2への更新 FreeBSD ports用メモ – がとらぼ
  2. AWS Elasticsearch Serviceの古いインデックスをcuratorを利用して削除してみました！ - WILLGATE tech blog
  3. AWS ElasticSearch Service - Qiita
  4. Elasticsearchの設定path.confのゆくえ - Qiita
  5. Tips and Tricks for managing ELK configuration · Cezary Piątek Blog
  6. Elasticsearch on Kubernetes, master connection problem because of JVM DNS caching
  7. Did you find out the way to export into csv using query like :
  8. GitHub - rerost/es-cli: Elasticsearch's operation wrapper tool
  9. GitHub - maliksalman/cf-elasticsearch: Run single-node ElasticSearch in CloudFoundry as an app (for development)



その他

  1. Elasticsearchの堅牢性を確認 – Kuniyoshi Tone – Medium
  2. Sourcebot: Setting up and Configuring Sourcebot – Sourcebot – Medium
  3. Elastic{on} Frankfurt recap – ableneo Technology – Medium
  4. GitLab 11.5 to support Elasticsearch 6, sunset support for Elasticsearch 5.5 | GitLab



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、こちらから参加ください。

今週のElastic News (2018/11/04～2018/11/10)

今週、Elasticについて新たにWEBで観測した情報をまとめます。 （個人的に注目だと感じた記事は太字で紹介しています。）

公式ブログ

RELEASES

  • なし



ENGINEERING

  1. SAML and Multi-Factor Authentication in Elasticsearch Service | Elastic
  2. Elastic Support Alert: Kibana Reporting Vulnerability | Elastic



Elastic Stack Updates

  • なし



USER STORIES

  1. Improving the GoDaddy User Experience with Elastic Machine Learning | Elastic
  2. webLyzard's Visual Exploration of Sustainability Communication with Elasticsearch | Elastic



OTHERS(NEWS\CULTURE...)

  1. Ringing Ze Bell: Our Distributed Celebrations | Elastic



ウェビナー

  1. Life after Google Search Appliance: A Better Way to Crawl and Search with Elastic Site Search | Elastic
  2. Using Elasticsearch Beats and APM to monitor your OpenShift Data | Elastic



その他ブログ記事など

Elastic公式情報以外の記事はカテゴリ別に分類して紹介しています。分類の基準が気になる方は「このブログについて」を参照ください。

今週から「関連プロダクト」の区分は廃止し、プラグインやSaaSプロダクトについてもユースケース別に分類するようにします。目的が分かり難かったので。

初心者向け（概説、インストールなど）

  1. Elastic Stack, on Dockerを動かしてみた[Metricbeat編] - Qiita
  2. サーバーサイドエンジニアになってわからなかったこと(4週間目) - Qiita
  3. Elasticsearch チュートリアル: クイックスタートガイド | Amazon Web Services ブログ
  4. Getting Started with Elasticsearch: Index, Document & First queries.
  5. Reporting and Analysis With Elasticsearch - DZone Big Data
  6. Elasticsearch: querying your cluster for more information | SnowCrash
  7. How to Setup An ElasticSearch Cluster on Amazon EC2 – BMC Blogs
  8. When you throw a web crawler to a DevOps — ELK – Coinmonks – Medium
  9. 最新版本elasticsearch本地搭建入门篇 – 技术成就梦想



検索、言語別クライアントの実装例

  1. How to develop an Elasticsearch feature? – hepsiburadatech – Medium
  2. Searching for rivers in Unterfranken: how to use Elasticsearch to find features on a map
  3. Use Elasticsearch with Symfony Framework and elasticsearch-php library
  4. Learning to rank search results
  5. Esteem Search - powered by hivemind and elasticsearch — Steemit
  6. DjangoCon US 2018 - Elasticsearch: Accelerating the Django Admin by Kate Kligman - YouTube
  7. GitHub - usemarkup/ElasticsearchBundle: A Symfony bundle providing simple integration with the Elasticsearch SDK, also providing web profiler information.
  8. Elasticsearch Java Rest Client API 整理总结 (一) – 技术成就梦想



ログ監視/ログ分析

  1. AWSのKinesis Firehoseを使ってEC2のログをElasticsearchに飛ばして可視化した話 - 株式会社クイックのWebサービス開発blog
  2. Collect server log files with Elasticsearch – Milan Brich – Medium
  3. Application Log Monitoring using (ELK stack) ElasticSearch



モニタリング/パフォーマンス監視

  1. Monitoring processes on remote Windows machines with Procmon



セキュリティ

  1. Amazon Elasticsearch Service を使用して GuardDuty でセキュリティをリアルタイムで監視する | Amazon Web Services ブログ
  2. How to configure PKI authentication in Elasticsearch



データ分析/データ集計

  1. Analyzing Twitter in real time with AWS Big Data and Machine Learning Services
  2. Pull your data from ElasticSearch to Analance™ Seamlessly - Ducen IT
  3. Сопоставление товаров при помощи Elasticsearch для сервиса мониторинга цен конкурентов / Хабр



データ投入、可視化

  1. KibanaのVisualizeでExcelっぽい表現をする - Taste of Tech Topics



運用Tips、トラブルシュート

  1. KibanaのダッシュボードをAPI経由でインポート/エクスポートする - Qiita
  2. Amazon Elasticsearch Service のインプレースバージョンアップグレード | Amazon Web Services ブログ
  3. Optimal Shard Placement in a Petabyte Scale Elasticsearch Cluster - Meltwater Engineering Blog
  4. Nginx: Setup ElasticSearch and Kibana with Nginx in Ubuntu 18.04



その他

  1. Monitor Your Amazon Elasticsearch Reserved Instance Utilization and Coverage Using AWS Budgets
  2. Elasticsearch 6.4.3 release, distributed search engine • InfoTech News
  3. Elasticsearch 6.4.3 发布，分布式搜索与数据分析引擎-Linuxeden开源社区



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、こちらから参加ください。

今週のElastic News (2018/10/28～2018/11/03)

今週、Elasticについて新たにWEBで観測した情報をまとめます。 （個人的に注目だと感じた記事は太字で紹介しています。）

公式ブログ

RELEASES

  • なし



ENGINEERING

  1. How to Send Data through Logstash or Kafka from Elastic APM | Elastic
  2. Canvas: Metric and Markdown Elements | Elastic
  3. A Walk in the Park with Elastic App Search Sample Engines | Elastic



Elastic Stack Updates

  1. Keeping up with Kibana: This week in Kibana for Oct 22th, 2018 | Elastic
  2. This Week in Elasticsearch and Apache Lucene - 2018-11-02 | Elastic
  3. Brewing in Beats: Central config, Journalbeat, Functionbeat, InfraOps UI, Logs UI | Elastic



USER STORIES

  1. Using the Elastic Stack for Advanced Search Analytics to Monitor CitiGroup’s Centralized Database | Elastic



OTHERS(NEWS/CULTURE/...)

  1. Family-Powered Design: Doodles and Drawings from Elastic Kiddos | Elastic



ウェビナー

  1. Hidden Gems in Kibana: Get the Most Out of Your Data | Elastic
  2. Optimizing Storage Efficiency in Elasticsearch | Elastic
  3. Webinar on Data to Insights using Amazon Elasticsearch Service - YouTube



その他ブログ記事など

Elastic公式情報以外の記事はカテゴリ別に分類して紹介しています。分類の基準が気になる方は「このブログについて」を参照ください。

今週から「関連プロダクト」の区分は廃止し、プラグインやSaaSプロダクトについてもユースケース別に分類するようにします。目的が分かり難かったので。

初心者向け（概説、インストールなど）

  1. メモ：Elasticsearch - Qiita
  2. Elastic Cloudの無料トライアルで5分でデプロイしてKibana最新版のグラフ機能を利用してみた - Qiita
  3. Centralized logging to the rescue – Leroi – Medium
  4. 4 Reasons Your Business Needs Elasticsearch - Thirst Productions, LLC | Rich Collins



検索、言語別クライアントの実装例

  1. Elasticsearch の copy_to で検索対象フィールドをまとめよう – VELTRA Engineering – Medium
  2. AWSで怯えず作るEC2 + Amazon Elasticsearch Serviceでハマったところ - LiBzTechBlog
  3. Laravel(5.5) + Scout + Elasticsearchで全文検索 (導入編) - Qiita
  4. Go言語で Elasticsearch の Nodes Statistics を所得する - Qiita
  5. Elasticsearch‘s Java QueryBuilder – Solace – Medium
  6. Tested Elasticsearch on Rails with Docker – store2be-tech – Medium
  7. Increase Website Profits Using Elasticsearch Boost – One More Blog
  8. GitHub - ShisunXia/Laravel-Elasticsearch-Query-Builder: Query Elasticsearch by using Eloquent
  9. Elasticsearch ile Terim Önerisi (Completion Suggester)
  10. Elasticsearch — Nedir bu Analyzer? – Haydar Külekci – Medium



ログ監視/ログ分析

  1. Centralize Logs with Rsyslog and Logstash on debian linux securely using TCP.
  2. Spring with stack ELK – issam nacim – Medium
  3. Centralize and Monitor Application and System Logs with ELK
  4. Filebeat, Logstash y Laravel – Javier Cano – Medium
  5. How to analyze AWS WAF logs using Amazon Elasticsearch Service | AWS Security Blog



モニタリング/パフォーマンス監視

  1. Zabbix 4.0のご紹介 @OSC 2018 Tokyo/Fall
  2. Quick Intro to Distribute Tracing in Microservices – Javier Ramos – Medium



セキュリティ

  1. Detecting Honeypots – Nishan Maharjan – Medium



データ分析/データ集計

  • なし



データ投入、可視化

  1. Using _writev() to Create a Fast, Writable Stream for ElasticSearch



運用Tips、トラブルシュート

  1. Elasticsearch Rest APIでのIndex再構築 – Eureka Engineering – Medium
  2. How to create and restore an elasticsearch index using a bash script
  3. (Minimal) Installation of Elasticsearch cluster in production
  4. Elasticsearch Index false on keyword and text fields
  5. Migrating your self-hosted Elasticsearch to AWS Elasticsearch Service — a detailed guide
  6. Migrating a self managed Elasticsearch2.2 cluster to Amazon Elasticsearch Service 6.x
  7. Chaos Engineering For Elasticsearch



その他

  1. Elastic stack (Elasticsearch) Advent Calendar 2018 - Qiita
  2. How to create an Elasticsearch 6.4.1 Plugin – TechnocratSid Blogs



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、こちらから参加ください。

今週のElastic News (2018/10/21～2018/10/27)

今週、Elasticについて新たにWEBで観測した情報をまとめます。 （個人的に注目だと感じた記事は太字で紹介しています。）

公式ブログ

RELEASES

  • なし



ENGINEERING

  1. Space Savings: A Lesser Known Benefit of Index Sorting in Elasticsearch | Elastic
  2. Improve Security Analytics with the Elastic Stack, Wazuh, and IDS | Elastic
  3. Elastic App Search: Multi-user Support | Elastic



Elastic Stack Updates

  1. This Week in Elasticsearch and Apache Lucene - 2018-10-19 | Elastic
  2. Keeping up with Kibana: This week in Kibana for Oct 15th, 2018 | Elastic
  3. This Week in Elasticsearch and Apache Lucene - 2018-10-26 | Elastic



USER STORIES

  1. SAP Concur: Elastic Logging as a DevOps Strategy | Elastic



NEWS

  1. Elastic Site Search as a Google Search Appliance (GSA) Replacement | Elastic
  2. Say Heya to the Elastic Search Awards | Elastic



OTHERS

  1. Kibana Plugin API Changes in 6.5 include changes to visualizations response handler, sample data schema, and aggregations. | Elastic



ウェビナー

  1. Caso de uso de Softonic. Migración de un Monolito a Microservicios con Elasticsearch como fuente central de datos (Spanish) | Elastic
  2. Getting Started with the ELK Stack for Logs and Metrics | Elastic



その他ブログ記事など

Elastic公式情報以外の記事はカテゴリ別に分類して紹介しています。分類の基準が気になる方は「このブログについて」を参照ください。

初心者向け（概説、インストールなど）

  1. 様々なメトリクスやログを集めてシステム解析 - Elastic Stackの入門と活用 - / Getting started Elastic Stack for logging/metrics - Speaker Deck
  2. bmf-tech - DockerでElasticsearchとKibanaの環境構築
  3. Elasticsearch Documents and Mappings - DZone Big Data
  4. Elasticsearch tutorial: a quick start guide | AWS Database Blog
  5. How to delete Elasticsearch Index data with curl - Computingforgeeks



検索、言語別クライアントの実装例

  1. メディアコンテンツ向け記事検索DBとして使うElasticsearch
  2. 社内でElasticsearch勉強会を開いた - ogidowの日記
  3. iridakos - Elasticsearch bucket aggregations and faceted navigation
  4. Elasticsearch 4 Autosuggest – workframers – Medium
  5. Hadi Terim Önerisi Yapalım (Completion Suggester) – Haydar Külekci – Medium
  6. 解决Elasticsearch中文搜索只能搜索单个汉字，不能搜索词语的问题 – 谢邵虎博客
  7. [ElasticSearch] Nori 를 사용한 형태소 분석 :: Geun`s Page
  8. etpblog: Buscador en Symfony2 con ElasticSearch



ログ監視/ログ分析

  1. ELB logs in Elasticsearch | Lambda Fuction – Fernando Diaz – Medium
  2. Send netdata metrics through syslog-ng to Elasticsearch, and visualiz
  3. Система для сбора логов Elasticsearch + Fluentd + Kibana. Как это работает у нас | DOU
  4. 唯品会Dragonfly日志系统的Elasticsearch实践



モニタリング/パフォーマンス監視

  1. Praeco Walkthrough – John Susek – Medium
  2. Take Advantage of Elastic Stack to monitor Liferay DXP - Liferay Community



セキュリティ

  1. GitHub - socprime/soc_workflow_app_ce: SOC Workflow App helps Security Analysts and Threat Hunters explore suspicious events, look into raw events arriving at Elastic stack and view Saved Searches saved by teammates.
  2. Adatbányászat rosszul konfigurált adatbázis szerverekből - Kiberblog



データ分析/データ集計

  • なし



データ投入、可視化

  1. Spark ElasticSearch Hadoop Update and Upsert Example and Explanation – BMC Blogs
  2. How to write Apache Spark data to ElasticSearch using Python – BMC Blogs
  3. Geospatial Information with the Elastic Stack



運用Tips、トラブルシュート

  1. AWS EC2 上に立てた Elasticsearch の データを違う新たにマウントした新ボリュームに移行する方法
  2. Elasticsearchが1ノードでConditionがYellowな時の直し方
  3. Kibana 6.4以前から6.5へのアップデート時の注意点
  4. Elasticsearch Bulk Api for data migration – Craig Godden-Payne – Medium
  5. Lessons Learned from Migrating our Production Elasticsearch Cluster
  6. Highly Available and Scalable Elasticsearch on Kubernetes
  7. ElasticSearch — Index Request Workflow – ilie.simion – Medium
  8. ElasticSearch — Search Request Workflow – ilie.simion – Medium
  9. How we define speed, execution and scale – GO-JEK Product + Tech



関連プロダクト

  1. GitHub - homee-engineering/esdt: Tool for seeding/migrating an Elasticsearch datastore
  2. GitHub - kevinyan815/laravel-elastic: a elasticsearch composer package for laravel5
  3. Elasticsearch for Dot Net Developers - Dot Net Sheff - October 2018 - YouTube
  4. Introducing eth.events – eth.events – Medium
  5. Complementing Cassandra with Elasticsearch – devartis



その他

  1. Aella Data and Elastic Expand Strategic Partnership to Boost Cybersecurity - L.A. Biz



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、こちらから参加ください。

今週のElastic News (2018/10/14～2018/10/20)

f:id:j__yama:20181021162747p:plain

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今週は

  • Elasticsearchの運用に関する典型的な4つの誤解を紹介する公式ブログ
  • Elastic Stackアップデート時のTipsを紹介するウェビナー
  • 第25回Elasticsearch勉強会「検索編」の発表内容
  • クラシルでの辞書シノニムの管理方法
  • Dejavu2.0のリリース

などが注目の内容だと思います。

公式ブログ

RELEASES

  • なし



ENGINEERING

  1. Elasticsearchの運用に関する典型的な4つの誤解 | Elastic
  2. Inside the Elastic APM Go Agent | Elastic
  3. Efficient Duplicate Prevention for Event-Based Data in Elasticsearch | Elastic



Elastic Stack Updates

  • なし



USER STORIES

  1. Perform Feeds: Using the Elastic Stack to Improve the API Client Experience | Elastic



NEWS

  • なし



ウェビナー

  1. Expert Tips When Upgrading the ELK Stack | Elastic
  2. Manage Elasticsearch Clusters at Scale with ECE 2.0 | Elastic



その他ブログ記事など

Elastic公式情報以外の記事はカテゴリ別に分類して紹介しています。分類の基準が気になる方は「このブログについて」を参照ください。

初心者向け（概説、インストールなど）

  1. ElasticSearchの用語が覚えられないのでまとめた
  2. elasticsearch+kibana、Fluentdから使用用途でインストールしてみた
  3. ElasticSearch — the basics – Ilie Simion – Medium
  4. Elasticsearch Documents and Mappings | Logz.io
  5. ElasticSearch Commands Cheat Sheet – BMC Blogs
  6. Technology Focus: Elasticsearch - Realm Digital
  7. Promo - ElasticSearch, LogStash, Kibana # 1 - Learn All About LogStash Data Ingestion Tool - YouTube
  8. A Guide to Transforming an Excel Spreadsheet with Web App Development | Mobile App and Software Development in Birmingham, West Midlands
  9. Exploring Elasticsearch with Docker
  10. Introdução ao Elasticsearch com Kibana - YouTube



検索、言語別クライアントの実装例

  1. Elasticsearchのanalyzerを試した
  2. minne での検索改善の歴史 - Speaker Deck
  3. query_stringのはなし / how to use query string - Speaker Deck
  4. 第25回Elasticsearch勉強会「検索編」 に参加してきました。 - Above & Beyond
  5. 辞書シノニム管理の運用 - dely engineering blog
  6. Elasticsearch analyzers – Mateus Forgiarini da Silva – Medium
  7. I Built an Elasticsearch Autocomplete – Ben Awad – Medium
  8. Powering Search and Discovery at VICE – vicetech – Medium
  9. How to create a maintainable and scalable search for your Ruby on Rails app - CookiesHQ
  10. Uczymy się Elasticsearch #009: zaczarowany zakreślacz - Programista Na Swoim



ログ監視/ログ分析

  1. How we centralized our logs using ELK stack – Ravi Varma Kottapalli – Medium
  2. Drowning in Logs – comhemtechblog – Medium
  3. A happy guide to log docker with elasticstack – Vannesa Chan – Medium
  4. 2018-10-16 Elasticsearch in Softonic - Speaker Deck
  5. ELK, Serilog ve .Net Core ile merkezi loglama sistemi
  6. EFK (Elasticsearch + Fluentd + Kibana) или как мы логи собираем



モニタリング/パフォーマンス監視

  1. Ingest Azure Redis Cache messages into Elasticsearch, Logstash and Kibana cluster deployed in Azure Kubernetes Service (AKS) – Application design and programming in .NET
  2. Monitoring Docker Containers with Elasticsearch and cAdvisor | Web Code Geeks - 2018



セキュリティ

  • なし



データ分析/データ集計

  1. 適当な日本語文章を形態素解析し、英語に翻訳して音声読み上げさせる
  2. 六花亭製菓が製造工場にIoTを試験導入製造ラインの故障をAIで予知する実証実験の実施 | 2018年度 | ニュース | NTTテクノクロス株式会社



データ投入、可視化

  • なし



運用Tips、トラブルシュート

  1. Elasticsearchを更新したら動かなかったときの話 | masterpeace21
  2. ElasticSearch Service Manual Snapshot and Restore – Sagar Patil – Medium
  3. Deploying Elastic Search, Fluentd, Kibana on AKS with Helm
  4. Modify Elasticsearch mappings and settings without downtime
  5. Elasticsearch için JVM Ayarları için Genel Bilgileri



関連プロダクト

  1. How to Make Complex Queries on a Blockchain – CodeChain – Medium
  2. Elasticsearch For Cryptogoods and NFTs – pixura – Medium
  3. Using the NetApp Unified Manager REST API to send metrics to Elastic Stack
  4. Introduction : Amazon Elasticsearch Service – Taehoon Koo – Medium
  5. Getting started with Amazon Elasticsearch Service – Taehoon Koo – Medium
  6. GitHub - homee-engineering/esdt: Tool for seeding/migrating an Elasticsearch datastore
  7. GitHub - uswitch/elastic-log-lag: Calculates the log lag on Elasticsearch indexes
  8. The world needs a HERO! - Workload Automation Community
  9. GitHub - Mirocow/yii2-elasticsearch-log: Elasticsearch log storage module
  10. The quest for minimalism – Don's Blog
  11. Kubernetes-backed AWS Users Can Now Access Elasticsearch Logs from their Qbox Dashboards
  12. Lumen: Custom, Self-Service Dashboarding For Netflix
  13. GitHub - mixer/elasticqueue
  14. Dejavu 2.0, the open source browser by ElasticSearch, now lets you build search UIs visually | Packt Hub
  15. DevOps Chat: CHAOSSEARCH New Spin on Big Data Analysis - DevOps.com
  16. Deploying Elasticsearch on Oracle Cloud Infrastructure Using a Terraform Template | IaaS Blog - Oracle Cloud Infrastructure News
  17. GitHub - kokes/esviewer.js: search through your elasticsearch index without having to install anything
  18. Een verbeterde WordPress zoekfunctionaliteit met Elasticsearch - Pronamic



その他

  1. Enterprise Search Is More About Vision Than Technology



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、是非とも参加ください。

Elasticlover

今週のElastic News (2018/10/07～2018/10/13)

f:id:j__yama:20181014170604p:plain

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今週は

  • 技術書展5で頒布された書籍の情報
  • 来週Elasticsearch勉強会が開催されること
  • Kibana Canvasの公式導入記事
  • FitMetrixの個人情報を大量に含むElasticsearchクラスタが認証なしで誰にでもアクセス可能な状態になっており、ランサムウェア被害に遭っていた事件を伝える記事

などが注目の内容だと思います。

公式ブログ

RELEASES

  • なし



ENGINEERING

  1. Designing for Change in Elastic Machine Learning | Elastic
  2. Getting Started with Canvas in Kibana | Elastic



Elastic Stack Updates



USER STORIES

  • なし



NEWS

  • なし



ウェビナー

  • なし



その他ブログ記事など

Elastic公式情報以外の記事はカテゴリ別に分類して紹介しています。分類の基準が気になる方は「このブログについて」を参照ください。

初心者向け（概説、インストールなど）

  1. MySQLとElasticsearchを連携して検索を高速化 - JavaScript勉強会
  2. ELK Stack from 0 to 80 in 15 minutes – Basavaraj Kodgalli – Medium
  3. Build valuable business analytics for medicine and health digital services
  4. ELK STACK: A Perfect Guide for Log Analysis | BluePi Blogs
  5. How to Setup Elasticsearch on Ubuntu 18.04 & 16.04 LTS – TecAdmin



検索、言語別クライアントの実装例

  1. Elasticsearch の CRUD (Ruby)
  2. Elasticsearch の CRUD (PHP)
  3. PythonでElasticSearchのSearch APIを使って検索するときのめも
  4. マストドンの全文検索に形態素解析器 Sudachi を導入 - クラゲ丼
  5. What should be the value of max_gram and min_gram in Elasticsearch?
  6. Elasticsearch For .NET Developer : What and Why Elasticsearch ?
  7. Elasticsearch 의 한국어 형태소 분석기 Nori, 우리 회사에 적용해 볼 수 있을까?



ログ監視/ログ分析

  1. Analyze Custom Logs Using ELK – Sajith vijesekara – Medium
  2. Configuring Fluent Bit on VKE for AWS Elasticsearch - Cloud-Native Apps



モニタリング/パフォーマンス監視

  1. Elasticsearch+Kibanaでサーバメトリクスの可視化をする
  2. Watching/Alerting on Real-Time Data in Elasticsearch Using Kibana and SentiNL - DZone Big Data



セキュリティ

  1. Azure Kubernetes Service (AKS): Azure AD SAML based Single Sign on to secure Elasticsearch...
  2. CF Camp 2018: JVM Security Management and Elasticsearch - TeraTech
  3. FitMetrix exposed millions of customers'​ records in a passwordless database



データ分析/データ集計

  1. ElasticSearch For Analytics – Aishwarya Parthasarathy – Medium
  2. Word Embeddings and Document Vectors: Part 2. Order Reduction
  3. The Stanford Question Answering Dataset in Elasticsearch
  4. Analyze Elasticsearch Data in R - DZone Big Data



データ投入、可視化

  1. Embulkを活用してAmazon Elasticsearch Serviceへデータを同期させた話 - WILLGATE tech blog
  2. Elasticsearch と Kibana で遊んでみたよ - mattintosh note
  3. ElasticSearchとkibanaにLogstashをインストールしデータを入れてみた。 | なかしんのWork Recode Log
  4. kibanaでtweetログをグラフ化してみた。 | なかしんのWork Recode Log
  5. ElasticSearch に Bulk Insert をする - toohskの日記
  6. Movin’ Data is a Dream – Shaadi Squad – Medium
  7. Filtering events by date in Logstash – Kobi Rosenstein – Medium
  8. Enrich and transform data in ElasticSearch using Ingest Nodes
  9. Logstash 修改 output elasticsearch 的 Data type | Mr. 沙先生



運用Tips、トラブルシュート

  1. Elasticsearchに実際に書き込むテストなんかで「indexへの反映に時間がかかって困る〜〜」って時 - その手の平は尻もつかめるさ
  2. Quickbooks Search Platform — Our Journey to AWS – QuickBooks Engineering
  3. Provisioning large search server farms in 30 minutes (or sowith Ansible
  4. Kubernetes: Elasticsearch Scheduled Backup and Retention Using Curator - A D Vishnu Prasad
  5. Elasticsearch shard allocation algorithm - High Performance computing



関連プロダクト

  1. VPC内に置いたElasticsearch Serviceに Docker のプロキシ経由でアクセスする
  2. Deploying a secured Flink cluster on Kubernetes – Adaltas – Medium
  3. Search APIs — Elasticsearch vsAlgolia… – sami jan – Medium
  4. GitHub - CypressXt/AppleMusic-Elastic: AppleMusic Activity GDPR file to Elasticsearch
  5. Knowledge Graph Search with Elasticsearch and Neo4j
  6. AWS Cost Explorer’s Reserved Instance Reports now Support Amazon Elasticsearch Reservations
  7. Complete Backend Solution VS Backend Framework
  8. elasticquerybuilder | RubyGems.org | your community gem host
  9. GitHub - ankane/blazer: Business intelligence made simple
  10. สร้าง Microservice + Elasticsearch ด้วย Spring Boot + Spring Data
  11. Как создать в elasticsearch несколько типов через Spring Data? | DOU



その他

  1. Jun Ohtaniさんのツイート: "そういえば、来週やります。来週は日経さんの会場をお借りして検索のお話です！ / 第25回Elasticsearch勉強会「検索編」 #elasticsearchjp | Meetup - https://t.co/BuEEvp85yo"
  2. 技術書典5でElasticsearch本を販売しました！ - Taste of Tech Topics
  3. 技術書典5 Elasticsearch入門本で参加してきました！ 赤裸々収支報告あり。 – Pokosho!
  4. 検索技術を手がけるElasticがIPO - ZDNet Japan
  5. Elastic's Soaring IPO Stretches Valuation to $4.9 Billion - Bloomberg
  6. The Rise of Elastic Search can Challenge Google – FutureSin – Medium
  7. Zoeksoftware om verliefd op te worden - NRC
  8. Searching for Success? Elastic Found It – Memory Leak – Medium
  9. The economy of Open Source Software – Linnovate
  10. Quick and dirty Google Search Appliance Replacement



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、是非とも参加ください。

Elasticlover