Android Crawler сбор новостей фреймворк

### Проектирование базы данных

**Столбец article**

Используется `url` как первичный ключ для отслеживания того, был ли уже собран данный URL.

### Фреймворк для сбора данных

Основной идеей является разделение задач на `schedule` и `processor`.

- `Schedule` отвечает за предоставление URL, в данном примере это страница списка статей, которая возвращает массив URL статей. При реализации `schedule` можно определять поля для сбора информации, а также поддерживать текущую страницу списка. Когда `spider` требует больше URL, он возвращает массив URL. Если список страниц не имеет следующей страницы, `spider` может быть активно остановлен.

- `Processor` анализирует HTML и передает данные `pipeline` для выполнения других задач, таких как сохранение данных в базе данных.
  
  ├── `ISpider.java`
  ├── `Spider.java`
  ├── `SpiderListener.java`
  
  ├─`pipeline`
  │      `GreenDaoPipeline.java`
  │      `IPipeline.java`
  
  ├─`processor`
  │      `ContentProcessor.java`
  │      `IContentProcessor.java`
  │      `IUrlProcessor.java`
  │      `ListProcessor.java`
  
  └─`schedule`
      `CommonSchedule.java`
      `ISchedule.java`**ISpider** — класс управления сборкой данных  
**IContentProcessor**, **IUrlProcessor** — парсеры содержимого HTML  
**ISchedule** — предоставляет очередь URL; при отсутствии URL может активно остановить текущий spider  
**IPipeline** — обеспечивает долговременное хранение данных, записывает данные в базу данных и т.д.Дополнительные сведения см. в документации реализации Spider.

## JavaScript для извлечения JSON строки категории
Перейдите на [сайт](http://fec.mofcom.gov.cn/article/fwydyl/zgzx/) и введите следующее в консоли разработчика:

```js
function getList() {
	var arr = [];
	$('dl.menu').find('dd').each(function () {
		var $this = $(this);
		var text = $this.text();
		var href = $this.find('a').attr('href');
		var node = {};
		node.text = text;
		node.href = href;
		arr.push(node);
	});
	return JSON.stringify(arr);
}
getList();

[
  {
    "text": "Политические документы",
    "href": "/article/fwydyl/zcwj"
  },
  {
    "text": "Статистические данные",
    "href": "/article/fwydyl/tjsj"
  },
  {
    "text": "Связанные новости",
    "href": "/article/fwydyl/zgzx"
  }
]