初级的爬虫,此处不涉及其他解析工具,用的是正则表达式,因为这个是必须要学的,请求网页用的是requests库。
#首先导入json、requests、re、time等模块,此处还用到了异常处理。 import jsonimport requestsfrom requests.exceptions import RequestExceptionimport reimport time#首先定义一个方法,将网页源码的请求头信息加入,此处用到了异常处理机制try和except,判断状态码,200就是响应成功的意思,最后返回响应信息。def get_one_page(url): try: #请求头的信息可以在网页源代码中找到 headers = { 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' } response = requests.get(url, headers=headers) #此处判断响应的状态码 if response.status_code == 200: return response.text return None except RequestException: return None #这里我们再定义一个方法,这个方法中用到的就是正则表达式,用于匹配你上文中接收到的源码信息,解析出你想要的东西,再加入一个生成器,依次输出得到的结果。def parse_one_page(html): #正则表达式匹配,我们首先要定义一个正则匹配的方法,然后下面用到的findall中传入的参数,第一个是我们定义的正则匹配方法,第二个就是我们爬下来的源代码 pattern = re.compile('
posted on 2018-09-13 17:39 阅读( ...) 评论( ...)