网络爬虫是一种高效地信息采集利器，利用它可以快速、准确地采集互联网上的各种数据资源，几乎已经成为大数据时代IT从业者的必修课。简单点说，网络爬虫就是获取网页并提取和保存信息的自动化过程，分为下列三个步骤：获取网页、提取信息、保存数据。
1.获取网页
使用requests发送GET请求获取网页的源代码。以获取百度为例：
BeautifulSoup是Python的一个HTML或XML解析库，速度快，容错能力强，可以方便、高效地从网页中提取数据。基本用法：
frombs4importBeautifulSoupsoup=BeautifulSoup(html,'lxml')print(soup.prettify())print(soup.title.string)BeautifulSoup方法选择器：
find_all()查询符合条件的所有元素，返回所有匹配元素组成的列表。API如下：
find_all(name,attrs,recursive,text,**kwargs)find()返回第一个匹配的元素。举个栗子：
frombs4importBeautifulSoupsoup=BeautifulSoup(html,'lxml')print(soup.find('div',attrs={'class':'article-list'}))3.保存数据
使用Txt文档保存，兼容性好。
使用withas语法。在with控制块结束的时候，文件自动关闭。举个栗子：
使用Chrome的开发者工具（快捷键F12），可以查看这个页面的源代码。
HTML代码说白了其实就是一棵树，这棵树的根节点为html标签，head标签和body标签是它的子节点，当然有时候还会有script标签。body标签下面又会有许多的p标签、div标签、span标签、a标签等，共同构造了这棵大树。
可以很容易看到这个页面的博文列表是一个id为mainContent的div。
在class为postTitle的div里面可以找到链接和标题，这就是本文爬取的目标。
获取网页使用requests，提取信息使用BeautifulSoup，存储使用txt就可以了。