偷得浮生半日闲
心情半佛半神仙

python爬虫基本概念

来源:python3 网络爬虫开发实战

网页的抓取:urllib、requests、aiohttp、selenium、splash

网页解析:re、lxml、beautiful soup、pyquery

数据存储:json、xml、csv、mysql、mongoDB、redis

web组件:flask、tornado

处理反爬:tesserocr、ADSLProxy、ProxyPool、CookiesPOOL

App抓取:charles、mitmproxy、mitmdump、appium

爬虫框架:pyspider、scrapy、scrapy-redis、scrapy-splash

管理部署:docker、scrapyd、scrapyd-api、scrapyd-client、gerapy

未经允许不得转载:浮生日志--追不上时光,却想用笔留下时光。【原ST笨蛋小3的零散日志】 » python爬虫基本概念
分享到: 更多 (0)

评论 抢沙发

评论前必须登录!