1、使用环境和使用库
IDE:PyCharm
库:requests、lxml
2、环境构建
用pycharm创建一个新的python项目,然后创建requests和lxml。
3、使用流程
(1)新建一个项目
(2)依赖库导入
由于使用的是,所以我们导入这两个库就会显的格外简单。
import requests
(3)获取网页源代码
可以很方便的让我们得到网页的源代码网页。
(4)获取源码
# 获取源码 html = requests.get("https://coder-lida.github.io/") # 打印源码 print html.text
代码就是这么简单,这个html.text便是这个URL的源码。
以上就是python爬虫的使用,我们可以简单的归纳为库的使用和环境的搭建,看懂了就可以动手尝试下了。如果爬虫想要去采集大量的数据,会需要HTTP代理IP的配合。希望对大家有所帮助。更多常见问题解决:
(推荐操作系统:windows7系统、Python 3.9.1,DELL G3电脑。)