Sipsoup — это реализация XPath на основе Jsoup, которая преобразует синтаксис CSS-запросов в XPath.

Sipsoup — это анализатор HTML, разработанный на чистом Java и использующий XPath для разбора. Он полностью независим от анализатора DOM, который генерируется с помощью Jsoup.

Автор предполагает, что каждый разработчик фреймворка для сканирования должен реализовать свой собственный XPath, и Sipsoup не стал исключением. При разработке собственного фреймворка VScrawler автор столкнулся с необходимостью выбора инструмента для анализа HTML. В результате он остановился на Sipsoup, так как тот предоставляет гибкие возможности для реализации XPath запросов.

Однако при интеграции Sipsoup были выявлены некоторые недостатки, которые автор попытался исправить. В частности, он хотел добавить возможность проверки синтаксиса во время компиляции XPath-выражений и улучшить поддержку цепочечных запросов.

В результате Sipsoup стал более мощным инструментом для работы с XPath благодаря гибкому расширению и интеграции с Jsoup.

Основные изменения в Sipsoup:

• Переработаны функции: вместо использования рефлексии для загрузки статических функций из класса, теперь используется интерфейс для расширения функциональности.
• Добавлена поддержка автоматического сканирования и регистрации функций. Если необходимо расширить собственные функции, их можно поместить в com.virjar.sipsoup.function, чтобы они автоматически регистрировались.
• Поддержка функций осей (Axis Functions): Sipsoup поддерживает не только обычные предикаты, но и функции осей, а также функции извлечения. Функции могут принимать аргументы.
• Встроенная функция css позволяет передавать выражения CSS в функцию css, что является значительным достижением Sipsoup. Это упрощает реализацию цепочечного извлечения, сочетающего CSS и XPath запросы.
• Улучшена поддержка сложных предикатов: Sipsoup предлагает наиболее полное решение для поддержки предикатов, включая вложенные функции, выражения и скобки, обработку пробелов и экранирование. Модуль предикатов был разработан автором за целый день и представляет собой вычислитель.
• Расширены типы данных предикатов: в синтаксисе XPath определены следующие типы данных: строки, числа, операторы, XPath, функции, значения атрибутов и логические значения. Все типы, кроме операторов, могут быть расширены или удалены. Логический тип был добавлен позже и изначально не планировался, но затем был включён в список стандартных типов.
• Перегрузка операторов: концепция, знакомая многим по C++. Позволяет переопределить поведение операторов. Например, оператор «+» может выполнять сложение чисел, конкатенацию строк или преобразование чисел в зависимости от типа операндов.
• Многократное использование XPath: возможность комбинировать несколько XPath выражений для выполнения сложных логических операций, таких как пересечение и объединение множеств.

Демонстрационные примеры включают форматирование текста всех узлов, использование позиции для выбора всех чётных узлов, регистрацию новых функций, регистрацию новых операторов и практическое применение XPath для поиска элементов на веб-странице.

Также приводится пример сложного XPath запроса для извлечения ссылок на изображения из списка с определёнными условиями. Перевод текста на русский язык:

Рассмотрение того, как многие китайские студенты используют webMagic. Встроенный в webMagic xpath — это XSoup. Если вы хотите использовать SipSoup в WebMagic, то это также легко реализуемо. SipSoup предоставляет мост к XSoup.

Несколько строк конфигурации позволят заменить SipSoup на XSoup (см. проект xsoup-to-sipsoup).

Конкретная документация

Функции

Все поддерживаемые функции можно получить через следующий демо-пример (разбор функций демо).

Функции оси:
    * ancestor;
    * ancestorOrSelf;
    * cacheCss;
    * child;
    * css;
    * descendant;
    * descendantOrSelf;
    * followingSibling;
    * followingSiblingOne;
    * parent;
    * precedingSibling;
    * precedingSiblingOne;
    * self;
    * sibling.

Предикатные функции:
    * |abs;
    * |allText;
    * |boolean;
    * |concat;
    * |contains;
    * |false;
    * |first;
    * |hasClass;
    * |last;
    * |lower-case;
    * |matches;
    * |name;
    * |not;
    * |nullToDefault;
    * |parent;
    * |position;
    * |root;
    * |string;
    * |string-length;
    * |substring;
    * |text;
    * |toDouble;
    * |toInt;
    * |true;
    * |try;
    * |upper-case.

Извлекающие функции:
    * allText;
    * @;
    * html;
    * node;
    * num;
    * outerHtml;
    * self;
    * tag;
    * text.

Функции оси

Функции оси определяют область выбора узла в выражении xpath. В выражении xpath ось является необязательной. Однако, если она присутствует, её роль заключается в создании нового набора кандидатов узлов на основе текущего набора узлов. SipSoup сохраняет совместимость с осями стандартного Xpath, но есть одно отличие: оси SipSoup могут принимать параметры, которые в настоящее время ограничены строками. Ось может принимать несколько строковых параметров.

Таблица функций оси:

Извлекающие функции

Извлекающие функции используются для преобразования результатов. Они представляют собой простые функции извлечения данных, такие как извлечение всего текста или определённого атрибута. Извлекающие функции не слишком разнообразны. Результаты извлечения могут быть элементами или строками. Обратите внимание, что если в выражении xpath присутствует извлекающая функция и она возвращает строку, эта функция должна быть конечным узлом в цепочке выражения xpath. Это связано с тем, что при каждом извлечении начинается фильтрация, и элемент будет использоваться только в качестве входных данных для следующего извлечения.

Таблица функций извлечения (кто-нибудь может помочь мне настроить эту таблицу? Выглядит некрасиво, мне не нравится):

Предикатные функции

Предикатные функции используются в предикатах. Предикатные функции очень мощные, поскольку они могут рекурсивно использовать функции и операторы для создания сложных выражений вычислений.

Таблица предикатных функций:

Операторы

В настоящее время операторы связаны с JSoupXpath, их правила операций и JSoupXpath остаются неизменными, SipSoup поддерживает комбинирование нескольких операторов, поэтому возникает проблема приоритета операторов (за исключением очень распространённых случаев использования, обычно рекомендуется использовать скобки для определения приоритета вручную). Операторы и соответствующий приоритет следующие:

Определение приоритета различных операторов

+   :20   Сложение
-   :20   Вычитание
*   :30   Умножение
/   :30   Деление
%   :30   Остаток от деления
&&  :0    Логическое И
||  :0    Логическое ИЛИ
and :0    Логическое И, эквивалентно &&
or  :0    Логическое ИЛИ, эквивалентно ||
=   :10   Равенство, логическая операция
>   :10   Больше, логическая операция
<   :10   Меньше, логическая операция
>=  :10   Больше или равно, логическая операция
<=  :10   Меньше или равно, логическая операция
*=  :10   Содержит, проверяет, содержит ли данные слева данные справа, применимо только к строкам, логическая операция
$=  :10   Заканчивается на, проверяет, заканчиваются ли данные слева данными справа, применимо только к строкам, логическая операция
^=  :10   Начинается с, проверяет, начинаются ли данные слева с данных справа, применимо только к строкам, логическая операция
!=  :10   Не равно, противоположно «=», логическая операция
~=  :10   Соответствие шаблону, проверяет, соответствуют ли данные слева регулярному выражению справа, применимо только к строкам, логическая операция
!~  :10   Несоответствие, противоположность «~=», если данные слева не соответствуют регулярному выражению справа, возвращает true

Типы операторов

Вычисления с операторами включают вопросы повышения типов данных, например, когда данные целого типа и данные длинного целого типа вычисляются вместе, они преобразуются в данные длинного целого типа. SipSoup по умолчанию поддерживает следующие типы чисел: int, long, double (float обрабатывается как double), BigDecimal, и будет обрабатывать преобразование типов в соответствии с общими правилами.

Следует отметить, что у оператора «+» есть две функции: если встречается число, выполняется сложение чисел, а если встречается строка, выполняется объединение строк. Если вы считаете, что это поведение не должно существовать, вы можете изменить его, переписав оператор.

Расширенное использование

1. Регистрация или перезапись новых функций RegisterNewFunctionTest.java
2. Регистрация или перезапись новых операторов перегрузка операторов
3. Регистрация новых типов данных TokenAnalysisRegistry.java. Здесь подробности не приводятся. Если вам нужна эта функция, вы должны достаточно хорошо понимать исходный код SipSoup, чтобы самостоятельно управлять этим классом и распознавать новый формат типа данных в соответствии со спецификациями SipSoup и преобразовывать его в модель узла характеристик для потребления.