小白入坑——利用正则表达式多进程爬取猫眼电影TOP100

Nicobuss

利用Python3的requests和re库对猫眼电影TOP100进行多进程爬取。
使用的IDLE是Pycharm第一次发帖，如有不足，请见谅。




代码如下：

[Python] 纯文本查看 复制代码

# -*- coding: utf-8 -*-
"""
Created on Tue Jun 26 11:35:42 2018

@author: Nicobuss

爬取的相关信息有：电影名次、电影名称、主演、上映时间、评分

"""

import re
import time
import requests
from multiprocessing import Pool
from http.cookiejar import CookieJar
from requests.exceptions import RequestException

#创建requests回话
s = requests.Session()
#对需要登录或者需要利用cookie登录的，可以使用CookieJar( )这个方法。
s.cookies = CookieJar()

#创建个头文件，里面的用户我习惯使用这个"Baiduspider+"。
header = {
    'user-agent': 'Baiduspider+',
}

#根据url获取HTML文件
def getHTML(url, code='utf-8'):
    try:
        response = s.get(url, headers=header)
        response.raise_for_status()
        response.encoding = code
        return response.text
    except RequestException:
        print('getHTML Error')

#对HTML进行正则表达式处理
def parseHTML(html):
    pattern = re.compile('.*?board-index-.*?">(.*?)</i>.*?class="name">.*?'
                         + '"boarditem-click".*?"{movieId:.*?}">+(.*?)</a>.*?class="star">'
                         + '(.*?)</p>.*?class="releasetime">(.*?)</p>.*?<p class="score">'
                         + '<i class="integer">(.*?)</i><i class="fraction">(.*?)</i></p>', re.S)

 #需要把html字符串化，否则报错：TypeError: expected string or bytes-like object
    items = re.findall(pattern, str(html)) 

    for item in items:
        yield {
            '序号': item[0],
            '电影名': item[1],
            '主演': item[2].strip(),
            '上映时间': item[3],
            '评分': item[4] + item[5],
        }

#把数据保存到本地
def writePAGE(content):
    with open('result.txt', 'a' ) as f:
        f.write(str(content) + '\n')
        f.close()

#编写主函数
def main(page):
    url = 'https://maoyan.com/board/4?offset=' + str(page)
    html = getHTML(url)
    items = parseHTML(html)

    for item in items:
        print(item)
        writePAGE(item)


if __name__ == '__main__':
    start = time.time()

#多进程爬取
    pool = Pool()
    pool.map(main, [page * 10 for page in range(10)])
    pool.close()  # 关闭进程池，不接受新的进程
    pool.join()  # 主进程阻塞等待子进程的退出

    end = time.time()
#打印出最后运行的时间
    print('It spends %s s' % (end - start))

代码思路很简单，简单概括为：
首先利用requests的get方法获取页面的html文件，之后对得到的html文件进行相对应的正则处理，然后把爬取到的数据保存到本地。

代码地址：https://github.com/Newbie-97/Python-Spyider-Combat

wushaominkk

加油,,吾爱因你更精彩!

Nicobuss

kiki890730 发表于 2018-6-29 16:37
试试Beautiful Soup？

先从最近最基础的学，下一步会尝试使用BeautifulSoup、PyQuery、Selenium库等~~~

Nicobuss

wushaominkk 发表于 2018-6-29 15:00
加油,,吾爱因你更精彩!

Thanks♪(･ω･)ﾉ感谢~~~

torboxin

人生苦短，我用python

kiki890730

试试Beautiful Soup？

Nicobuss

torboxin 发表于 2018-6-29 16:23
人生苦短，我用python

Life is short, you need Python~

Nicobuss

敬哥哥 发表于 2018-6-29 15:57
谢谢分享

(￣▽￣)~*

Nicobuss

敬哥哥 发表于 2018-6-29 18:25
大佬。可以弄出成品打包地址吗？

dalao算不上，自己也只是在初学阶段，分享下自己还算是掌握到的知识罢了~