<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-core</artifactId>
    <version>0.7.5</version>
</dependency>
<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-extension</artifactId>
    <version>0.7.5</version>
</dependency>

<exclusions>
    <exclusion>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
    </exclusion>
</exclusions>
```## Начало работы:

### Первый сетевой паук:

Напишите класс, который реализует `PageProcessor`. Например, я создал сетевой паук для получения информации о репозиториях GitHub.

```java
public class GithubRepoPageProcessor implements PageProcessor {

    private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);
``````markdown
    @Override
    public void process(Page page) {
        page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());
        page.putField("автор", page.getUrl().regex("https://github\\.com/(\\w+)/.*").toString());
        page.putField("название", page.getHtml().xpath("//h1[@class='public']/strong/a/text()").toString());
        if (page.getResultItems().get("название") == null) {
            // пропустить эту страницу
            page.setSkip(true);
        }
        page.putField("readme", page.getHtml().xpath("//div[@id='readme']/tidyText()"));
    }
``````java
    @Override
    public Site getSite() {
        return site;
    }

    public static void mainMethod(String[] args) {
        Spider.create(new GithubRepoPageProcessor()).addUrl("https://github.com/code4craft").thread(5).run();
    }
}

@TargetUrl("https://github.com/\\w+/\\w+")
@HelperUrl("https://github.com/\\w+")
public class GithubRepo {

    @ExtractValue(value = "//h1[@class='public']/strong/a/text()", notNull = true)
    private String имя;

    @ExtractByUrl("https://github\\.com/(\\w+)/.*")
    private String автор;

    @ExtractValue("//div[@id='readme']/tidyText()")
    private String readme;

    public static void mainMethod(String[] args) {
        OOSpider.create(Site.me().setSleepTime(1000),
                new ConsolePageModelPipeline(), GithubRepo.class)
                .addUrl("https://github.com/code4craft").thread(5).run();
    }
}