Paoding 分词器 основан на Lucene 4.x

Оригинальный проект доступен по адресу https://code.google.com/p/paoding/

Краткое описание Paoding Analysis

Паодинговый нож для китайского сегментирования характеризуется высокой производительностью и гибкостью. Введены метафоры, полностью объектно-ориентированное проектирование, передовой подход.

Высокая производительность: на компьютере с процессором PIII, 1 ГБ оперативной памяти, за секунду можно точно сегментировать 1 миллион символов.

Используется база словарей без ограничения количества для эффективного сегментирования текста, что позволяет классифицировать слова по категориям.

Способность корректно анализировать неизвестные слова.

Значительный вклад, который очень мотивирует.

Примеры сегментации:

TokenStream ts = analyzer.tokenStream("text", new StringReader(text));
// Добавление утилиты обратите внимание: следующие строки отличаются от версий Lucene 2.x
CharTermAttribute offAtt = (CharTermAttribute) ts.addAttribute(CharTermAttribute.class);
// Цикл вывода результатов сегментации и положения слов
while (ts.incrementToken()) {
    System.out.print(offAtt.toString() + "\t");
}

Инструкции по компиляции

Проект может быть скомпилирован с использованием Maven по умолчанию.

Если используется Ant, зависимости должны быть помещены в каталог {pro_workspace}/target/dependency/. Затем можно использовать ant для компиляции. Результаты компиляции хранятся в каталоге {pro_workspace}/target/dist/{версия}/.Можно использовать команду mvn dependency:copy-dependencies для копирования зависимостей в {pro_workspace}/target/dependency/, а затем использовать Ant для компиляции.

Инструкции по использованию Solr 4.x

Для Solr 4.x и выше можно прямым образом конфигурировать Analyzer Lucene. Конфигурация пример:

<fieldType name="text_general" class="solr.TextField">
  <analyzer class="net.paoding.analysis.analyzer.PaodingAnalyzer" />
</fieldType>