ITeye博客

Python

共 2 篇文章

Python爬虫基础编程

初学Python爬虫时都会从最简单的方法开始,以下为几种常见的基础做法。 """ 简单的循环处理 """ import requests url_list = [ "https://www.baidu.com", "https://www.cnblogs.com/" ] for url in url_list: result = requests.get(url) print(result.text) """ 线程池处理 """ import requests from concurrent.futures import ThreadPoolExecutor def fetch_reques…

2019-07-03 15:22 · Python

pip install scrapy Microsoft visual c++ 14.0 is required

很久没来写文章了,今天使用scrapy编写爬虫代码的时候,在使用pip install scrapy安装模块的时候出现了Microsoft visual c++ 14.0 is required的错误提示,导致scrapy安装失败,后来经过查阅相关资料解决了,小弟不才,把解决方法总结出来供各位仁兄参考。 本人python版本为3.6,操作系统为Windows 10 64位,小弟的解决办法如下: 1.从 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载Twisted-18.9.0-cp36-cp36m-win_amd64.whl,该.w…

2019-03-05 15:20 · Python