Welcome to OGeek Q&A Community for programmer and developer-Open, Learning and Share
Welcome To Ask or Share your Answers For Others

Categories

0 votes
366 views
in Technique[技术] by (71.8m points)

Python用Scrapy做爬虫,会绕过selenium不好绕的反扒吗?

Python之前用selenium和和requests写了一些脚本爬淘宝,开始6月先是cookie改版,但是改了也能将就用,后来就是反爬虫用js 检测webdriver……再后来又封了代理mitmproxy……
现在,不能用了

后来看别人说requests和selenium比起Scrapy来就是步枪比大炮,想去学一下那个。
想改用Scrapy请问对于淘宝登录框,Scrapy有优势吗?可不可以过那个登录框。

新学一个东西需要很多时间,我就是个淘宝小店主,可以过的话,我就去学习了,不可以过我就先不学了……


与恶龙缠斗过久,自身亦成为恶龙;凝视深渊过久,深渊将回以凝视…
Welcome To Ask or Share your Answers For Others

1 Reply

0 votes
by (71.8m points)

重点是反爬虫, 跟用不用Scrapy没关系,Scrapy是一套框架,对于规模化抓取比较方便, 但是反爬虫的问题你还是一样要取解决的.


与恶龙缠斗过久,自身亦成为恶龙;凝视深渊过久,深渊将回以凝视…
OGeek|极客中国-欢迎来到极客的世界,一个免费开放的程序员编程交流平台!开放,进步,分享!让技术改变生活,让极客改变未来! Welcome to OGeek Q&A Community for programmer and developer-Open, Learning and Share
Click Here to Ask a Question

...