python爬虫批量下载ppt模板

Jacklin

ppt模板地址：http://www.ypppt.com/moban/ 这是一个免费的ppt模板网站
前两天帮朋友下述职报告，需要啥分类自己改下地址就可以用了。
代码写的渣勿喷。

附上代码：

1. import time
   
2. import requests
   
3. from scrapy.selector import Selector
   
4. 
   
5. def RequestsDX(url):
   
6.     # 实例化一个request对象
   
7.     headers = {
   
8.         'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
   
9.                        'Chrome/86.0.4240.111 Safari/537.36 Edg/86.0.622.51',
   
10.         'Accept'     : 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,'
    
11.                        'application/'
    
12.                        'signed-exchange;v=b3;q=0.9'
    
13.     }
    
14.     response = requests.get(url, headers)
    
15.     response.encoding = 'utf-8'
    
16.     return response
    
17. 
    
18. def SelectorDX(response):
    
19.     # 实例化一个selector对象
    
20.     selector = Selector(text=response.text)
    
21.     return selector
    
22. 
    
23. def url_page():
    
24.     # 查看模板分类下有多少页
    
25.     ppt_url = 'http://www.ypppt.com/moban/shuzhi/'
    
26.     url_list = [ppt_url]
    
27.     for i in range(2, 1000):
    
28.         ppt_url2 = 'http://www.ypppt.com/moban/shuzhi/list-%s.html' % i
    
29.         response = RequestsDX(ppt_url2)
    
30.         if response.status_code == 200:
    
31.             url_list.append(ppt_url2)
    
32.         else:
    
33.             break
    
34.     return url_list
    
35. 
    
36. def url_page_ppt_id(selector):
    
37.     # 查看每页ppt模板的id,并合成对应ppt链接
    
38.     id = []
    
39.     page_id_sum = len(selector.xpath('/html/body/div[2]/ul/li'))
    
40.     for i in range(1, page_id_sum):
    
41.         tag = selector.xpath('/html/body/div[2]/ul/li[%s]/a' % i).extract_first()
    
42.         # 一个笨办法做的字符串过滤 拿到ppt的id 变量名起的稀碎
    
43.         y = tag.split('<')
    
44.         a = y[1].find('.html')
    
45.         b = y[1].rfind('/')
    
46.         # print(y[1][b+1:a])
    
47.         id.append(y[1][b + 1 :a])
    
48.     return id
    
49. 
    
50. def download_page():
    
51.     # 拿到下载页面
    
52.     url_list = url_page()
    
53.     url = 'http://www.ypppt.com/p/d.php?aid='
    
54.     url_download = []
    
55.     for i in url_list:
    
56.         response = RequestsDX(i)
    
57.         selector = SelectorDX(response)
    
58.         id = url_page_ppt_id(selector)
    
59.         for i in id:
    
60.             url_download.append(url+i)
    
61.     return url_download
    
62. 
    
63. def download_url():
    
64.     # 分析下载页面中的下载链接并下载
    
65.     url_list = []
    
66.     name_list = []
    
67.     url = download_page()
    
68.     xpath = '/html/body/div/div/ul/li[1]/a'
    
69.     filename_xpath = '/html/body/div/div/div[2]/div[2]/h1'
    
70.     for i in url:
    
71.         response = RequestsDX(i)
    
72.         selector = SelectorDX(response)
    
73.         url_download = selector.xpath(xpath).extract_first()
    
74.         file_name = selector.xpath(filename_xpath).extract_first()
    
75.         name1 = file_name.replace(' - 下载页', '')
    
76.         name2 = name1.replace('<h1>', '')
    
77.         name = name2.replace('</h1>', '')
    
78.         a = url_download.find('"')
    
79.         b = url_download.rfind('"')
    
80.         url_list.append(url_download[a + 1 :b])
    
81.         name_list.append(name)
    
82.     download_list = [name_list, url_list]
    
83.     return download_list
    
84. 
    
85. def download():
    
86.     # 下载
    
87.     start_time = time.time()
    
88.     download_list = download_url()
    
89.     url = download_list[1]
    
90.     name = download_list[0]
    
91.     for i in range(len(url)):
    
92.         response = RequestsDX(url[i])
    
93.         print('='*100)
    
94.         print('正在下载', name[i])
    
95.         with open(r'D:\ppt\%s.zip' % name[i], 'wb') as f:
    
96.             for chunk in response.iter_content(chunk_size=1024):
    
97.                 f.write(chunk)
    
98.         print('下载完成')
    
99.     end_time = time.time()
    
100.     cost = end_time - start_time
     
101.     print(cost)
     
102. download()

复制代码

最后贴上效果图


最后有几个疑问希望能有人帮我解答下：
1、我觉着是可以下载的更快的，可能是写法问题，请大佬指教
2、能否用多线程处理多个任务这样应该能更快，但是不太熟悉多线程模块，希望能有大佬提供个思路
3、能否告知python的写法的标准，我感觉我写的变量稀碎，因为是自学的所以全部都是自由发挥

掉毛的蛋

多谢楼主分享

x175615441

谢谢楼主分享，先收藏了。

jack3860

6666666666

373310743

不错不错~~~~~

x32218228

6666

43630542

谢谢大佬分享

nzbobo59

谢谢分享！

378751898

谢谢@Thanks！