博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python Scrapy初步使用
阅读量:6759 次
发布时间:2019-06-26

本文共 305 字,大约阅读时间需要 1 分钟。

1、创建爬虫工程

scrapy startproject stockproject001

2、创建爬虫项目

cd stockproject001

scrapy genspider stockinfo quote.eastmoney.com

 

3、定义数据项或数据字段

打开 items.py,输入:

 

 

4、定义爬取规则

打开stockinfo.py,输入:

 

 

5、定义数据处理管道

打开pipelines.py,输入:

 

 

6、启用爬虫项目

打开settings.py,修改:

 

7、执行爬虫

scrapy crawl stockinfo --nolog

--nolog不看日志

 

.....................

 

转载地址:http://duweo.baihongyu.com/

你可能感兴趣的文章
jquery.nicescroll完美滚动条使用方法
查看>>
如何灵活的运用before和after
查看>>
人人都能学会的python编程教程15:高级特性2
查看>>
[BZOJ 2330][SCOI2011]糖果(差分约束系统)
查看>>
【NOIP】提高组2014
查看>>
【Atcoder】ARC 080 F - Prime Flip
查看>>
【CodeForces】671 C. Ultimate Weirdness of an Array
查看>>
Android Studio DDMS无法查看文件树问题
查看>>
QPS,用户平均等待时间,服务器平均请求处理时间
查看>>
uni-app · 支付宝小程序踩坑
查看>>
Wndows server 2008 R2 总是卡住 “Applying computer settings”
查看>>
序列化解决方案,就是采用二进制通信协议(数据报文格式)
查看>>
如何使用Spring优雅地处理REST异常
查看>>
原生JS上传图片(FormData,可预览,一次多图)
查看>>
讲讲Java溢出JVM爆炸的几种方式及自救方法
查看>>
[HAOI2015]T2
查看>>
bzoj 1293: [SCOI2009]生日礼物
查看>>
RadioButton+Fragment 实现导航栏碰到的一些常见问题
查看>>
sudo 出现unable to resolve host 解决方法
查看>>
「小程序JAVA实战」微信开发者工具helloworld(三)
查看>>