HAO ES 分词器

Введение

HAO ES — это плагин для Elasticsearch, который позволяет выполнять китайское разбиение на слова.

Для обсуждения можно использовать QQ-группу: 743457803.

Как разработать плагин ES для разбиения на слова?

Пожалуйста, обратитесь к этому документу.

Основные функции:

— Поддержка сложных китайских иероглифов, некоторые из которых в Java имеют длину не равную 1, например, 𡃁. IK и HanLP не поддерживают такие символы.

— Поддерживает однословное разбиение и поиск, а режим ik_max_word не поддерживает.

— Позволяет настраивать длину разбиения слов, что подходит для распознавания имён в коротких текстах.

— Поддерживает поиск по эмодзи.

— По сравнению с IK, HAO более интеллектуальный и точный. Например, IK использует метод перебора всех возможных слов, поэтому при поиске могут быть найдены нерелевантные результаты. В то время как HAO использует алгоритм, основанный на подсчёте частоты слов, чтобы определить наиболее вероятные комбинации слов. Также можно настроить частоту слов в соответствии с конкретными потребностями.

— Результаты разбиения на слова в режиме hao_search_mode являются подмножеством результатов в режиме hao_index_mode.

— В сравнении с HanLP, HAO легче, разбиение на слова более контролируемо, и нет некоторых интеллектуальных функций, таких как прогнозирование имён, которые могут привести к нестабильности и неточности разбиения. Кроме того, HanLP не имеет официального плагина для ES.

— Основываясь на частоте слов, HAO определяет наиболее вероятные слова, вместо того чтобы перебирать все возможные варианты. Если выбранный вариант неверен, можно настроить частоту слов для исправления ошибок. Файл с частотой слов представляет собой текстовый файл с удобным для чтения форматом.

— Поддерживаются ключевые слова, такие как «Россия», которые не будут разбиты на «Рос» и «сия». Это позволяет избежать поиска документов, связанных с Россией, при поиске «сия».

— Однако не поддерживается определение частей речи.

Предоставляются следующие анализаторы и токенизаторы:

Анализатор: hao_search_mode, hao_index_mode Токенизатор: hao_search_mode, hao_index_mode

Версии:

Использование

Установка:

Способ 1: bin/elasticsearch-plugin install file:///Users/xiaoming/Download/analysis-hao.zip

Способ 2: Распакуйте файл и поместите его в каталог плагинов ES.

После этого необходимо перезапустить ES.

Обновление версии ES:

Если нужной версии ES нет, необходимо внести изменения в несколько мест:

1. Изменить значение elasticsearch.version в файле pom.xml на нужную версию.
2. Скомпилировать и исправить ошибки в коде, если они возникнут.
3. Выполнить команду mvn clean package -Dmaven.test.skip=true, чтобы получить zip-файл плагина.

Разбиение на слова:

Можно настроить параметры разбиения на слова следующим образом:

Внутренние анализаторы:

hao_index_mode:

На основе словаря и весов слов выполняется рекурсивное разбиение до тех пор, пока слово не станет неразделимым. Если enableSingleWord = true, то разбиение продолжается до отдельных букв.

Например, для текста «мост через реку Янцзы в городе Нанкин»

1. «Мост через реку Янцзы в городе Нанкин» → «Мост», «через», «реку», «Янцзы», «город», «Нанкин».
2. «Город» → «Город», «Нанкин».
3. Если enableSingleWord = false, разбиение останавливается, и получается «Мост через реку Янцзы в городе», «Мост», «Через», «Река», «Янцзы», «Город», «Нанкин».
4. Если enableSingleWord = true, разбиение продолжается, пока не останутся отдельные буквы, и получится «Мост через реку Янцзы в городе», «Мост», «Через», «Реку», «Янцзи», «Город», «Нанкин», «Н», «А», «Н», «К», «И», «Н».

hao_search_mode:

Этот режим аналогичен hao_index_mode, но разбиение выполняется только один раз.

Результаты разбиения для текста «Мост через реку Янцзы в городе Нанкин»: «Мост через реку Янцзы в городе Нанкин».

Файл конфигурации HaoAnalyzer.cfg.xml:

Словарь:

Базовый словарь:

Основной словарь хранится в файле base_dictionary.txt. Слова разделены запятыми, за которыми следуют их частоты. Например, «напряжённая работа» разбивается на «напряжённый», «работа», потому что слово «работа» имеет высокую частоту. Можно уменьшить частоту слова «работа» в словаре, чтобы предотвратить такое разбиение.

Удалённый словарь:

Пользовательский словарь обновляется автоматически в соответствии с настройками времени и интервала. После обновления словарь заменяет текущий customerDictionaryFile. Формат каждой строки файла удалённого словаря: {Слово}, {Частота}, {Является ли слово ключевым}, например, «Россия, 1000, 1».

Является ли слово ключевым:

Значение 1 означает, что слово является ключевым и не будет разделено дальше. Например, слово «Россия» не будет разделяться на «Рос» и «Сия». Значение 0 означает, что слово может быть разделено. ``` type: "custom", tokenizer: "my_search_token" }, index_analyzer: { char_filter: [ "html_strip" ], type: "custom", tokenizer: "my_index_token" } }, tokenizer: { my_index_token: { enableFailDingMsg: "true", type: "hao_index_mode", enableSingleWord: "true", enableFallBack: "true", autoWordLength: 3 }, my_search_token: { enableFailDingMsg: "true", type: "hao_search_mode", enableSingleWord: "true", enableFallBack: "true", autoWordLength: 3 } }, number_of_replicas: "0" }, mappings: { properties: { title: { type: "text", index_options: "offsets", analyzer: "index_analyzer", search_analyzer: "search_analyzer" } } }

**Тест сегментации**

test/_analyze { analyzer: "index_analyzer", text: "徐庆年 奋发图强打篮球有利于提高人民生活，有的放矢，中华人民共和国家庭宣传委员会宣。🐶" }

test/_analyze { analyzer: "search_analyzer", text: "徐庆年 奋发图强打篮球有利于提高人民生活，有的放矢，中��ха人民共和国家庭宣传委员会宣。 🐶" }

`徐庆年` не находится в словаре, но распознается как слово с помощью `autoWordLength`.