包含标签 爬虫 的所有文章
-
Scrapy爬虫
安装pipinstallscrapy创建项目scrapystartproject项目文件夹创建蜘蛛文件scrapygenspidertaobaowww.taobao.com运行蜘蛛文件-o输出为文件需带,不带在日志打印scrapycrawl蜘蛛文件名-o保存的文件settings设置USER_AGENT="Mozilla/5.0(WindowsNT...
-
selenium 自动测试,爬虫
下载浏览器驱动,放到项目目录只需要对应大版本就可以了CNPMBinariesMirror(npmmirror.com)ChromeDriverLatestReleasesVersionsDownloads-ChromeforTestingavailability(getwebdriver.com)安装库pipinstallselenium使用fromsele...