##README
爬取到的新闻数据:
当前的settings.py
经过调试相对比较稳定,不要轻易修改!!!
当前,所有爬虫增量抓取的开关已经打开,如果需要,可以手动关闭,/spiders/***.py
文件的FLAG_INTERRUPT = True
常量
证券日报 2007.09.17~ http://zqrb.ccstock.cn/ scrapy crawl zqrb
证券时报 2010.12.17~ http://epaper.stcn.com/paper/zqsb/html/2010-12/17/node_2.htm scrapy crawl zqsb
证券日报网
http://www.ccstock.cn/finance/hongguanjingji/index.html
http://www.ccstock.cn/finance/hangyedongtai/index.html
http://www.ccstock.cn/gscy/gongsi/index.html
http://www.ccstock.cn/gscy/qiyexinxi/index.html
scrapy crawl zqrbw
南华早报 http://www.nanzao.com/sc/business/more-business-news http://www.nanzao.com/sc/national/more-national-news 'scrapy crawl nhzb'
中国经营网 http://www.cb.com.cn/deep/ http://www.cb.com.cn/economy/ http://www.cb.com.cn/companies/ 'scrapy crawl zgjyw'
经济观察报 http://www.eeo.com.cn/politics/bjxx/ http://www.eeo.com.cn/politics/shengyin/ http://www.eeo.com.cn/politics/shuju/ http://www.eeo.com.cn/nation/shiju/ http://www.eeo.com.cn/comment/commentsygc/commentsygccjsd/ http://www.eeo.com.cn/comment/commentsygc/commentsygczcxj/ http://www.eeo.com.cn/comment/commentsygc/commentsygccyzs/ 'scrapy crawl jjgcb'
财经网 http://economy.caijing.com.cn/economynews/ http://economy.caijing.com.cn/observation/ http://economy.caijing.com.cn/economics/ http://economy.caijing.com.cn/region/ http://economy.caijing.com.cn/policy/ http://economy.caijing.com.cn/report/ http://industry.caijing.com.cn/industrianews/ http://industry.caijing.com.cn/steel/index.html http://industry.caijing.com.cn/energy/ http://industry.caijing.com.cn/aviations/ http://industry.caijing.com.cn/traffic/ http://industry.caijing.com.cn/food/ http://industry.caijing.com.cn/medicals/ http://industry.caijing.com.cn/consumption/ http://industry.caijing.com.cn/industrys/ ‘scrapy crawl cjw’
证券时报网 http://news.stcn.com/xwyw/ ‘scrapy crawl zqsbw’
中证网 http://www.cs.com.cn/xwzx/hg/ http://www.cs.com.cn/xwzx/cj/ http://www.cs.com.cn/ssgs/gsxw/ 三个分类必须分开运行 ‘scrapy crawl zzw’
华尔街见闻
http://wallstreetcn.com/news?status=published&type=news&cid=17&order=-created_at&limit=100&page=1
http://wallstreetcn.com/news?status=published&type=news&cid=22&order=-created_at&limit=100&page=1
scrapy crawl hejjw
深圳新闻网
http://www.sznews.com/news/node_141128.htm
http://www.sznews.com/news/node_150507.htm
http://www.sznews.com/news/node_237320.htm
http://www.sznews.com/news/node_109926.htm
##参与贡献 Fork 本仓库
如果你觉得对你有用,打赏下作者吧:
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Комментарии ( 0 )