python爬取网站的MV视频

如海之汐

最近刚学爬虫，献丑了

爬取网站的地址：http://www.170mv.com/mlmv
源码：
from urllib import request,response
import re,urllib
import requests
def pa(url):
    a=0
    hader={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:62.0) Gecko/20100101 Firefox/62.0'} #请求头，模拟浏览器
da=urllib.request.Request(url,headers=hader)
    date=urllib.request.urlopen(da)       #发送请求
html=date.read().decode("utf-8")     #编码转换
lianjie=re.findall('<a class="clip-link" data-id="(.*?)" title="(.*?)" >',html,re.S) #提取mv列表的链接
for i,l in enumerate(lianjie):
        a=a+1
        lianjie=l[0
        da=urllib.request.Request("http://www.170mv.com/mlmv/%s.html" %lianjie,headers=hader)
        date=urllib.request.urlopen(da)
        html=date.read().decode("utf-8")
        url=re.findall('http://www.170mv.com/tool/jiexi/ajax/pid/%s/(.*?).mp4' %lianjie,html,re.S)
        name=re.findall('<h1 class="entry-title">(.*?)</h1>',html,re.S)
        url='http://www.170mv.com/tool/jiexi/ajax/pid/%s/%s.mp4' %(lianjie,url[0])
        url = requests.get(url).content
        print("正在下载第%s首mv" % a)
        f = open('E:\\mp4\\{}.mp4'.format(name[0]), 'wb')
        f.write(url)
        f.close()
        print("下载成功")

pa("http://www.170mv.com/mlmv")

anyue520h

顶一下，支持一下，谢谢分享！！！

erhuae

正好需要希望有用

TT1591714423

感谢楼主分享！大牛有你更精彩！

a70315881

十分感谢楼主分享哦~

小白求各种教导

试试，感谢分享！！！！！！！！！！！！！！！！！！

qrs2zy

感谢楼主分享！大牛有你更精彩！

面包诚信肥宅

这个好像很不错的样子

lyl5190461

下载用用看，感谢分享！

ranxiao520

好东东,下载收藏