<dependency>
    <groupId>com.geccocrawler</groupId>
    <artifactId>gecco</artifactId>
    <version>x.x.x</version>
</dependency>
```![maven](https://img.shields.io/maven-central/v/com.geccocrawler/gecco.svg?style=flat-square)

### Внешние зависимости

httpclient, jsoup, fastjson, reflections, cglib, rhino, log4j, jmxutils, commons-lang3

## Быстрое начало

```java
@Gecco(matchUrl="https://github.com/{user}/{project}", pipelines="consolePipeline")
public class MyGithub implements HtmlBean {

    private static final long serialVersionUID = -7127412585200687225L;

    @RequestParameter("user")
    private String user; // значение {user} из URL

    @RequestParameter("project")
    private String project; // значение {project} из URL

    @Text
    @HtmlField(cssPath=".pagehead-actions li:nth-child(2) .social-count")
    private String star; // извлечение количества звезд со страницы

    @Text
    @HtmlField(cssPath=".pagehead-actions li:nth-child(3) .social-count")
    private String fork; // извлечение количества форков со страницы

    @Html
    @HtmlField(cssPath=".entry-content")
    private String readme; // извлечение файла README со страницы

    public String getReadme() {
        return readme;
    }

    public void setReadme(String readme) {
        this.readme = readme;
    }

    public String getUser() {
        return user;
    }

    public void setUser(String user) {
        this.user = user;
    }

    public String getProject() {
        return project;
    }

    public void setProject(String project) {
        this.project = project;
    }

    public String getStar() {
        return star;
    }

    public void setStar(String star) {
        this.star = star;
    }

    public String getFork() {
        return fork;
    }

    public void setFork(String fork) {
        this.fork = fork;
    }
```    public static void main(String[] args) {
        GeccoEngine.create()
        // путь к пакету программы
        .classpath("com.geccocrawler.gecco.demo")
        // адрес стартовой страницы для парсинга
        .start("https://github.com/xtuhcy/gecco")
        // количество потоков для парсинга
        .threads(1)
        // время задержки между запросами в миллисекундах
        .interval(2000)
        // циклический режим работы
        .loop(true)
        // использование User-Agent для браузера PC
        .pc(true)
        // запуск в неблокирующем режиме
        .start();
    }
}## DynamicGecco

Цель DynamicGecco — это реализация правил парсинга в режиме выполнения без необходимости определения объекта SpiderBean. Это достигается с помощью программирования байт-кодом для динамического создания объекта SpiderBean и использования пользовательского классификатора GeccoClassLoader для горячей замены правил парсинга. Ниже приведен пример простого демонстрационного приложения, более сложные примеры можно найти в папке `com.geccocrawler.gecco.demo.dynamic`.

Ниже представлен код, который позволяет конфигурировать правила парсинга в режиме выполнения:

```java
DynamicGecco.html()
    .gecco("https://github.com/{user}/{project}", "consolePipeline")
    .requestField("request").request().build()
    .stringField("user").requestParameter("user").build()
    .stringField("project").requestParameter().build()
    .stringField("star").csspath(".pagehead-actions li:nth-child(2) .social-count").text(false).build()
    .stringField("fork").csspath(".pagehead-actions li:nth-child(3) .social-count").text().build()
    .stringField("contributors").csspath("ul.numbers-summary > li:nth-child(4) > a").href().build()
    .register();
```

Для начала парсинга используется следующий код:

```java
// Начало парсинга
GeccoEngine.create()
    .classpath("com.geccocrawler.gecco.demo")
    .start("https://github.com/xtuhcy/gecco")
    .run();
```

Как можно заметить, подход с использованием DynamicGecco значительно уменьшает объём кода по сравнению с традиционным способом использования аннотаций, а также позволяет в реальном времени определять и изменять правила.

## Полное руководство

[Учебник по использованию Java-пауков Gecco для получения всей информации о товарах JD (часть 1)](http://my.oschina.net/u/2336761/blog/620158)[Руководство по использованию Java-пауков Gecco для получения всей информации о товарах JD (часть 2)](http://my.oschina.net/u/2336761/blog/620827)

[Руководство по использованию Java-пауков Gecco для получения всей информации о товарах JD (часть 3)](http://my.oschina.net/u/2336761/blog/624683)

[Интеграция Htmlunit для загрузки страниц](http://my.oschina.net/u/2336761/blog/631959)

[Мониторинг пауков](http://my.oschina.net/u/2336761/blog/644330)

[Пример полной реализации, работающий с пагинацией, использует Spring и MySQL для записи данных](http://git.oschina.net/xiaomaoguai/gecco-demo)

## Контактная информация

- Блог: http://my.oschina.net/u/2336761/blog
- Электронная почта: xtuhcy@163.com
- Группа QQ: cq 531949844

## Поддержка проекта

Gecco развивается благодаря вашей поддержке. Сканируйте QR-код и помогите автору выпить кофе!

![АлиПай](http://www.geccocrawler.com/content/images/jz-zfb.jpg?xx=2)
![WeChat Pay](http://www.geccocrawler.com/content/images/jz-wx.png)

## Лицензионное соглашение

Пожалуйста, следуйте условиям лицензии [MIT](https://raw.githubusercontent.com/xtuhcy/gecco/master/LICENSE)