Слияние кода завершено, страница обновится автоматически
#spider_main.py---爬虫调度端：启动爬虫，停止爬虫，监视爬虫运行情况
#url_manager.py---URL管理器：对将要爬取的和已经爬取过的URL进行管理；可取出带爬取的URL，将其传送给“网页下载器”
#html_downloader.py---网页下载器：将URL指定的网页下载，存储成一个字符串，在传送给“网页解析器”
#html_parser.py---网页解析器：解析网页可解析出①有价值的数据②另一方面，每个网页都包含有指向其他网页的URL，解析出 来后可补充进“URL管理器”
#html_outputer.py---网页输出器：从网页解析器分析拿到的数据和url，按照编码好的格式以html的形式展示出来
#python3.6 #windows8
#run：运行调度端（spider_main.py）里的SpiderMain()方法，等到爬虫爬取完后，刷新项目，会在里面生成一个output.html 和output.md文件，这是最终需要的文件
#该爬虫是在python3.6环境下开发的，需要注意的是，内部一些方法和包和python2.7有所不同。
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Комментарии ( 0 )