爬取英雄联盟所有皮肤图片实现千图成像!Python真强!!
前文
本文主要分为两个部分
- 一部分是爬虫,这边是选择爬取英雄联盟官网英雄资料中的英雄皮肤图片,如下为新英雄seraphine的页面,包含英雄对应的所有皮肤;
- PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
- 另一部分是图片的合成,先将所有英雄皮肤图片拼接成为一张图作为背景,然后与另一张图片进行合成,效果如下:
爬虫
思路整理
- F12打开控制台后刷新页面(https://lol.qq.com/data/info-defail.shtml?id=147),既然是找图片,直接在img标签下找就好了;
获取到图片的地址之后(https://game.gtimg.cn/images/lol/act/img/skin/big147001.jpg),接着再往下找,在xhr标签下,找到了包含皮肤图片地址的接口(https://game.gtimg.cn/images/lol/act/img/js/hero/147.js),测试一下,可以直接访问,没啥限制;
- 多看几个英雄的页面就能发现,这个147其实就是对应英雄的ID,如果我们有英雄的ID,直接拼接成新的接口地址就可以,接着继续往下找能获取英雄ID的接口;
- 在资料库首页刷新,有个叫hero_list(https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js)的就很明显,从返回的内容来看,确实包含了我们需要的英雄ID;
- 这样思路就很清晰了,先从hero_list获取所有英雄的ID,然后拼接成单个英雄信息的接口访问获取到皮肤图片的地址,下载图片完事~
完整代码
为了速度快点,加了一个异步,实测6S爬取完所有的皮肤~
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Author : AwesomeTang # @File : crawler.py # @Version : Python 3.7 # @Time : 2020-11-06 23:05 import requests import asyncio import os from aiohttp import ClientSession import aiohttp import json from datetime import datetime async def skins_downloader(semaphore, hero_id, hero_name): async with semaphore: url = 'https://game.gtimg.cn/images/lol/act/img/js/hero/{}.js'.format(hero_id) dir_name = 'skins/{}'.format(hero_name) if not os.path.exists(dir_name): os.mkdir(dir_name) async with ClientSession(connector=aiohttp.TCPConnector(ssl=False)) as session: async with session.get(url) as response: response = await response.read() for skin in json.loads(response)['skins']: if skin['mainImg']: img_url = skin['mainImg'] # kda女团皮肤名带斜杠,replace掉 path = os.path.join(dir_name, '{}.jpg'.format(skin['name'].replace('/', ''), )) async with session.get(img_url) as skin_response: with open(path, 'wb') as f: print('\rDownloading [{:^10}] {:<20}'.format(hero_name, skin['name']), end='') f.write(await skin_response.read()) def hero_list(): return requests.get('https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js').json()['hero'] async def run(): semaphore = asyncio.Semaphore(30) heroes = hero_list() tasks = [] for hero in heroes: tasks.append(asyncio.ensure_future(skins_downloader(semaphore, hero['heroId'], hero['title']))) await asyncio.wait(tasks) if __name__ == '__main__': start_time = datetime.now() loop = asyncio.get_event_loop() loop.run_until_complete(run()) loop.close() end_time = datetime.now() time_diff = (end_time - start_time).seconds print('\nTime cost: {}s'.format(time_diff))
每个英雄对应一个文件夹~
图片合成
图片尺寸处理
- 因为最后图片合成需要保持一样的尺寸,所以第一步我们先把主图的尺寸resize成我们想要的;
- 英雄皮肤的图片都是980*500,我们把皮肤图片尺寸缩小10倍也就是98*50,然后保证每行有50张子图,这样便得到了我们需要resize的宽度(98*50),然后根据主图本身的长宽比计算出我们需要resize的高度,具体代码如下:
mask_img = Image.open('/home/kesci/work/skins/league of legend.jpeg') # 获取图片本身宽度、高度 width, height = mask_img.size # 计算resize后的尺寸,注意取整 to_width = 98 * 50 to_height = ((to_width / width) * height // 50) * 50 mask_img = mask_img.resize((int(to_width), int(to_height)), Image.ANTIALIAS) # 显示图片 plt.figure(figsize=(25,15)) plt.imshow(mask_img) plt.axis('off') plt.show()
子图拼接
- 接下来便是把英雄图片拼接成一张图片,尺寸与之前主图尺寸保持一致;
- 读取所有皮肤图片将尺寸resize为98*50,转为np.array格式缓存到list中共后面调用;
skin_array_collection = [] for fpath, dirname, fnames in os.walk('/home/kesci/work/skins'): if not dirname: for fn in fnames: try: skin_array_collection.append(np.array(Image.open(os.path.join(fpath, fn)).convert('RGB').resize((98, 50), Image.ANTIALIAS))) except OSError: print('读取文件出错:「{}」'.format(os.path.join(fpath, fn)))
- 将刚刚的array随机组合到一起,转为图片就好了~
w_times, h_times = int(to_width / 98), int(to_height / 50) bg_img = np.zeros_like(np.array(mask_img)) for i in tqdm(range(w_times), desc='MERGE'): for j in range(h_times): bg_img[j * 50:(j + 1) * 50, i * 98:(i + 1) * 98, :] = random.choice(skin_array_collection) bg_img = Image.fromarray(bg_img) # 显示图片 plt.figure(figsize=(25,15)) plt.imshow(bg_img) plt.axis('off') plt.show()
图片合成
- 这边使用了Pillow中的Image.blend,将主图和刚才生成的皮肤背景图合成到一起,通过alpha参数控制背景的透明程度;
img = Image.blend(bg_img, mask_img, alpha=0.8) img.save('/home/kesci/work/skins/out_put.jpeg') # 显示图片 plt.figure(figsize=(25,15)) plt.imshow(img) plt.axis('off') plt.show()
- 效果如下: