spring.data.elasticsearch.cluster-name=elasticsearch
# По умолчанию это локальный хост, если вы хотите использовать удалённый сервер или сервер в локальной сети, вам необходимо настроить IP: порт; вы можете настроить несколько, разделяя их запятыми, что эквивалентно кластеру.
# Java-клиент: взаимодействует с кластером через порт 9300
# Все остальные языки программирования: могут использовать RESTful API через порт 9200 для связи с ElasticSearch.
# spring.data.elasticsearch.cluster-nodes=192.168.1.180:9300

     
├─src
│  ├─main
│  │  ├─java
│  │  │  └─com
│  │  │      └─itstyle
│  │  │          └─es
│  │  │              │  Application.java
│  │  │              │  
│  │  │              ├─common
│  │  │              │  ├─constant
│  │  │              │  │      PageConstant.java
│  │  │              │  │      
│  │  │              │  └─interceptor
│  │  │              │          MyAdapter.java
│  │  │              │          
│  │  │              └─log
│  │  │                  ├─controller
│  │  │                  │      LogController.java
│  │  │                  │      
│  │  │                  ├─entity
│  │  │                  │      Pages.java
│  │  │                  │      SysLogs.java
│  │  │                  │      
│  │  │                  ├─repository
│  │  │                  │      ElasticLogRepository.java
│  │  │                  │      
│  │  │                  └─service
│  │  │                      │  LogService.java
│  │  │                      │  
│  |  |                      └─impl
│  │  |                              LogServiceImpl.java
│  │  |                              
│  │  ├─resources
│  │  │  │  application-dev.properties
│  │  │  │  application-prod.properties
│  │  │  │  application-test.properties
``` **application.yml**

│  │  │  │  
│  │  │  ├─static
│  │  │  │  ├─iview
│  │  │  │  │  │  iview.css
│  │  │  │  │  │  iview.min.js
│  │  │  │  │  │  
│  │  │  │  │  └─fonts
│  │  │  │  │          ionicons.eot
│  │  │  │  │          ionicons.svg
│  │  │  │  │          ionicons.ttf
│  │  │  │  │          ionicons.woff
│  │  │  │  │          
│  │  │  │  ├─jquery
│  │  │  │  │      jquery-3.2.1.min.js
│  │  │  │  │      
│  │  │  │  └─vue
│  │  │  │          vue.min.js
│  |  │  │
│  │  │  └─templates
│  │  │      └─log
│  │  │              index.html
│  │  │              
│  │  └─webapp
│  │      │  index.jsp
│  │      │  
│  │      └─WEB-INF
│  │              web.xml
│  │              
│  └─test
│      └─java
│          └─com
│              └─itstyle
│                  └─es
│                      └─test
│                              Logs.java

**Проект демонстрации**

#### Демонстрация веб-сайта: http://es.52itstyle.com

#### Снимки экрана проекта

![Поиск страницы](https://gitee.com/uploads/images/2018/0123/155849_f7e4fcaa_87650.png "ES_index.png")

#### Разбиение на страницы

Используя ElasticsearchTemplate, было вставлено 200 000 записей данных, и это заняло около 60 секунд на локальном внешнем сервере (1 ядро, 1 ГБ), что составляет примерно 1 минуту. Хотя размер индекса увеличился, для поиска потребовалось около 10 минут.

При достижении 10 000+ страниц в разбиении на страницы система выдаёт ошибку «Result window is too large». Чтобы исправить это, добавьте следующий код в config/elasticsearch.yml:

Ссылка: https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules.html

**Java API**

Elasticsearch предоставляет два встроенных клиента для пользователей Java:

- Клиент узла (node client):

Клиент узла, как следует из названия, сам по себе является частью кластера Elasticsearch. Он присоединяется к кластеру как узел без данных (none data node), то есть он не хранит никаких данных, но знает точное местоположение данных в кластере и может напрямую пересылать запросы соответствующему узлу.

- Транспортный клиент (Transport client):

Этот более лёгкий транспортный клиент может отправлять запросы удалённому кластеру. Сам он не присоединяется к кластеру, а просто пересылает запросы на узлы кластера. Оба клиента Java взаимодействуют с кластером через порт 9300, используя протокол передачи Elasticsearch (Elasticsearch Transport Protocol). Узлы в кластере также общаются друг с другом через порт 9300. Если этот порт не открыт, ваши узлы не смогут сформировать кластер.

**Установка Elasticsearch-Head**

elasticsearch-head — это графический инструмент для управления и администрирования кластеров, который позволяет выполнять операции с кластерами в режиме «всё в одном». Вы можете интегрировать его в es (предпочтительный способ) или установить как отдельный веб-приложение.

Основные функции elasticsearch-head включают:

* Отображение топологии кластера и возможность выполнения операций на уровне индекса и узла.
* Возможность поиска в кластере исходных данных JSON или данных в табличном формате.
* Быстрый доступ и отображение состояния кластера.

Способ установки плагина:

- Для Elasticsearch 5.x: плагины сайтов не поддерживаются. Запустите как отдельный сервер.
- Для Elasticsearch 2.x: sudo elasticsearch/bin/plugin install mobz/elasticsearch-head
- Для Elasticsearch 1.x: sudo elasticsearch/bin/plugin -install mobz/elasticsearch-head/1.x
- Для Elasticsearch 0.x: sudo elasticsearch/bin/plugin -install mobz/elasticsearch-head/0.9

После успешной установки в каталоге plugins появится каталог head, указывающий на успешную установку.

Просмотр снимков экрана:

![Elasticsearch-Head](https://gitee.com/uploads/images/2018/0122/172610_74771172_87650.png "ES_head.png")

**x-pack мониторинг**

С выпуском Elastic 6.1, Elasticsearch, Logstash и Kibana были обновлены с версии 2.4 до версии 5.0. Версия ELK 5.x требует относительно высоких требований к совместимости версий, больше не поддерживает смешивание 5.x и 2.x, и Elastic объединил marvel, watch и alert в пакет под названием x-pack.

Установка: https://www.elastic.co/guide/en/elasticsearch/reference/6.1/installing-xpack-es.html

Управление пользователями

После установки x-pack существует суперпользователь с именем elastic, пароль по умолчанию — changeme, у него есть права администратора для всех индексов и данных, вы можете использовать этого пользователя для создания и изменения других пользователей, конечно, вы также можете управлять пользователями и группами через веб-интерфейс kibana.

Изменить пароль пользователя elastic:

**IK Analysis для Elasticsearch**

Скачать и установить:

- Способ 1 — скачать готовый пакет с здесь: https://github.com/medcl/elasticsearch-analysis-ik/releases
Распакуйте плагин в папку your-es-root/plugins/

- Способ 2 — используйте elasticsearch-plugin для установки (версия > v5.5.1):
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.0.0/elasticsearch-analysis-ik-6.0.0.zip

Поскольку версия Elasticsearch — 2.4.6, здесь выбрана версия IK — 1.10.6

После распаковки файла в файле конфигурации Elasticsearch elasticsearch.yml в разделе index добавьте следующий код (для версии 2.0 и выше можно не устанавливать).

Или **Анализ текста с помощью Elasticsearch**

**Установка**:

**После установки**:

4. Выполнить скрипт:

## ElasticSearchRepository и ElasticSearchTemplate

Spring-data-elasticsearch — это слой данных для работы с Elasticsearch от Spring. Он предоставляет множество базовых операций, которые упрощают работу с Elasticsearch.

#### Основные операции ElasticSearchRepository

ElasticSearchTemplate в большей степени является дополнением к ESRepository и предоставляет некоторые более низкоуровневые методы.

Здесь мы в основном реализуем функцию быстрого чтения и пакетной вставки данных. Вставляем 200 000 записей, на локальном внешнем сервере (1 ядро, 1 ГБ), время выполнения составляет около 60 секунд, то есть примерно одну минуту. Хотя объём индексного хранилища увеличивается, для поиска требуется примерно 10 минут.

} catch (Exception e) {  
    System.out.println("IndexerService.bulkIndex e;" + e.getMessage());  
    throw e;  
}  

**Redis журнал очереди**

См. пакет: com.itstyle.es.common.redis

Конфигурация слушателя RedisListener:

@Bean
MessageListenerAdapter listenerAdapter(Receiver receiver) {
    return new MessageListenerAdapter(receiver, "receiveMessage");
}

@Bean
Receiver receiver(CountDownLatch latch) {
    return new Receiver(latch);
}

@Bean
CountDownLatch latch() {
    return new CountDownLatch(1);
}

@Bean
StringRedisTemplate template(RedisConnectionFactory connectionFactory) {
    return new StringRedisTemplate(connectionFactory);
}

Приёмник журнала Receiver:

@Autowired
public Receiver(CountDownLatch latch) {
    this.latch = latch;
}

public void receiveMessage(String message) {
    LOGGER.info("Получение сообщения журнала <{}>",message);
    if(message == null){
        LOGGER.info("Получено сообщение журнала <" + null + ">");
    }else {
        ObjectMapper mapper = new ObjectMapper();  
        try {
            SysLogs log = mapper.readValue(message, SysLogs.class);
            elasticLogRepository.save(log);
            LOGGER.info("Содержание сообщения журнала <{}>",log.getOperation());
        } catch (JsonParseException e) {
            e.printStackTrace();
        } catch (JsonMappingException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    latch.countDown();
}

Тестирование LogController: http://lip:port/redisLog

**Kafka журнал очереди**

См. пакет: com.itstyle.es.common.kafka

## Рекомендуемые материалы для чтения **Архитектура JavaWeb-проектов: система обработки журналов Elasticsearch**

**Архитектура JavaWeb-проектов: распределённая система очередей журналов Redis**

**Архитектура JavaWeb-проектов: распределённая система очередей журналов Kafka**

Автор: 小柒2012

Подписывайтесь: https://blog.52itstyle.vip/