<dependency>
    <groupId>edu.uci.ics</groupId>
    <artifactId>crawler4j</artifactId>
    <version>4.2</version>
</dependency>

public class MyCrawler extends WebCrawler {
    private final static Pattern FILTERS = Pattern.compile(". *(\\.(css|js|gif|jpg"
                                                            + "|png|mp3|zip|gz))$");

    /**
     * Этот метод получает два параметра.
     */
    Первый параметр — это страница, в которой мы обнаружили этот новый URL, а второй параметр — сам новый URL. Вы должны реализовать эту функцию для указания того, следует ли выполнять данный URL (основываясь на вашей логике парсинга). В этом примере мы указываем парсеру игнорировать URL-ы, имеющие расширения типа CSS, JS, GIF и т. д., и принимать только те URL-ы, которые начинаются с "http://www.ics.uci.edu/". В данном случае нам не требовался параметр referringPage для принятия решения.

    @Override
    public boolean shouldVisit(Page referringPage, WebURL url) {
        String href = url.getURL().toLowerCase();
        return !FILTERS.matcher(href).matches()
                && href.startsWith("http://www.ics.uci.edu/");
    }

    /**
     * Эта функция вызывается после того, как содержимое URL было успешно загружено.
     * Вы можете легко получить URL, текст, ссылки, HTML и уникальный ID загруженной страницы.
     */
    @Override
    public void visit(Page page) {
        String url = page.getWebURL().getURL();
        System.out.println("URL: " + url);

        if (page.getParseData() instanceof HtmlParseData) {
            HtmlParseData htmlParseData = (HtmlParseData) page.getParseData();
            String text = htmlParseData.getText();
            String html = htmlParseData.getHtml();
            Set<WebURL> links = htmlParseData.getOutgoingUrls();

public class MyCrawler extends WebCrawler {
    private final static Pattern FILTERS = Pattern.compile(". *(\\.(css|js|gif|jpg|png|mp3|zip|gz))$");

    /**
     * Этот метод получает два параметра.
     *
     * Первый параметр — это страница, в которой мы обнаружили этот новый URL, а второй параметр — сам новый URL. 
     * Вы должны реализовать эту функцию для указания того, следует ли выполнять данный URL (основываясь на вашей логике парсинга). 
     * В этом примере мы указываем парсеру игнорировать URL-ы, имеющие расширения типа CSS, JS, GIF и т. д., 
     * и принимать только те URL-ы, которые начинаются с "http://www.ics.uci.edu/". 
     * В данном случае нам не требовался параметр referringPage для принятия решения.
     */
    @Override
    public boolean shouldVisit(Page referringPage, WebURL url) {
        String href = url.getURL().toLowerCase();
        return !FILTERS.matcher(href).matches()
                && href.startsWith("http://www.ics.uci.edu/");
    }

    /**
     * Эта функция вызывается после того, как содержимое URL было успешно загружено.
     * Вы можете легко получить URL, текст, ссылки, HTML и уникальный ID загруженной страницы.
     */
    @Override
    public void visit(Page page) {
        String url = page.getWebURL().getURL();
        System.out.println("URL: " + url);

        if (page.getParseData() instanceof HtmlParseData) {
            HtmlParseData htmlParseData = (HtmlParseData) page.getParseData();
            String text = htmlParseData.getText();
            String html = htmlParseData.getHtml();
            Set<WebURL> links = htmlParseData.getOutgoingUrls();
        }
    }
}
```        System.out.println("Длина текста: " + text.length());
        System.out.println("Длина HTML: " + html.length());
        System.out.println("Количество исходящих ссылок: " + links.size());
    }
}```
Как можно видеть в приведённом выше коде, есть две основные функции, которые следует переопределить:

- `shouldVisit`: Эта функция решает, следует ли выполнять данный URL. В приведённом выше примере эта функция запрещает скачивание файлов с расширениями `.css`, `.js` и других типов медиафайлов, и позволяет только страницы внутри домена `'www.ics.uci.edu'`.

- `visit`: Эта функция вызывается после успешной загрузки содержимого URL. Вы можете легко получить URL, текст, ссылки, HTML и уникальный ID загруженной страницы. Также вам следует реализовать контроллерный класс, который будет указывать семена парсинга, папку для хранения промежуточных данных парсинга и количество одновременно выполняющихся потоков:

```java
public class Controller {

    public static void main(String[] args) throws Exception {
        String crawlStorageFolder = "/data/crawl/root";
        int numberOfCrawlers = 7;

        CrawlConfig config = new CrawlConfig();
        config.setCrawlStorageFolder(crawlStorageFolder);

        /*
         * Создаём контроллер для этого ползунка.
         */
        PageFetcher pageFetcher = new PageFetcher(config);
        RobotstxtConfig robotstxtConfig = new RobotstxtConfig();
        RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtConfig, pageFetcher);
        CrawlController controller = new CrawlController(config, pageFetcher, robotstxtServer);

        /*
         * Для каждого ползунка вам нужно добавить некоторые начальные URL-адреса. Это первые
         * URL-адреса, которые будут получены, а затем ползунок начинает следовать за ссылками,
         * найденными в этих страницах.
         */
        controller.addSeed("http://www.ics.uci.edu");
``````markdown
edu/~lopes/");
          controller.addSeed("http://www.ics.uci.edu/~welling/");
          controller.addSeed("http://www.ics.uci.edu/");
           /*
           * Начинаем ползание. Это блокирующая операция, то есть ваш код
           * достигнет строки после этой только когда ползание будет завершено.
           */
          controller.start(MyCrawler.class, numberOfCrawlers);
      }
  }

   ## Подробности конфигураций
  Класс контроллера имеет обязательный параметр типа [CrawlConfig](https://github.com/yasserg/crawler4j/blob/master/src/main/java/edu/uci/ics/crawler4j/crawler/CrawlConfig.java).
  Экземпляры этого класса могут использоваться для настройки crawler4j. В следующих разделах описаны некоторые детали конфигураций.
   ### Глубина сбора данных
  По умолчанию нет ограничений на глубину сбора данных. Однако вы можете установить ограничение на глубину сбора данных. Например, предположим, что у вас есть страница-источник "A", которая ссылается на "B", которая ссылается на "C", которая ссылается на "D". Таким образом, у нас имеется следующая структура ссылок:
   A -> B -> C -> D
   Поскольку "A" является страницей-источником, она будет иметь глубину 0. "B" будет иметь глубину 1 и так далее. Вы можете установить ограничение на глубину страниц, которые собирает crawler4j. Например, если вы установите это ограничение на 2, он не будет собирать страницу "D". Чтобы установить максимальную глубину, вы можете использовать:
  ```java
  crawlConfig.setMaxDepthOfCrawling(maxDepthOfCrawling);

crawlConfig.setMaxPagesToFetch(maxPagesToFetch);
``````java
setMaxPagesToFetch(maxPagesToFetch);

crawlConfig.setPolitenessDelay(politenessDelay);

crawlConfig.setProxyHost("proxyserver.example.com");
crawlConfig.setProxyPort(8080);

crawlConfig.setProxyUsername(username);
crawlConfig.setProxyPassword(password);

crawlConfig.setResumableCrawling(true);

"crawler4j (https://github.com/yasserg/crawler4j/)"

crawlConfig.setUserAgentString(userAgentString);