Слияние кода завершено, страница обновится автоматически
#web-crawler Простой веб-кран, реализованный с использованием Scala + Akka. Этот кран может указывать правила фильтрации, а также использовать различные методы хранения данных (хранение в файлах, базах данных и т.д.). Пример использования приведён ниже:
new Crawler()
.source(ArrayBuffer("http://money.163.com/stock/"))
.processor(FileStore("d:/crawl-sites").process)
.filter((url: String) => {
url.contains("163.com")
})
.start
Обратите внимание, что структура и разметка были сохранены как в исходном тексте.
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Комментарии ( 0 )