一行shell代码进行爬虫,没想到。。。。

开始用数组来下载前25部电影,结果是ok的!


#!/bin/bash
movename=`curl https://movie.douban.com/top250 |grep '<img width="100"'|awk -F '"' '{print $4}'`
pictureurl=`curl https://movie.douban.com/top250 |grep '<img width="100"'|awk -F '"' '{print $6}'`
move=($movename)
picture=($pictureurl)
for(( i=0;i<${#move[@]};i++)) do
#${#array[@]}获取数组长度用于循环
    wget -O ${move[i]} ${picture[i]}

done

一行shell代码进行爬虫,没想到。。。。

接着想用数组太shell的数组太low b了,就想着用一行shell代码下载豆瓣250电影剧照,图片根据电影名命名并打包。没想到。。。。。。

for i in `seq 0 249`;do wget -O `curl https://movie.douban.com/top250?start=$i |grep '<img width="100"'|awk -F '"' '{print $4}'|head -n 1` `curl https://movie.douban.com/top250?start=$i |grep '<img width="100"'|awk -F '"' '{print $6}'|head -n 1`;done; tar czvf move.tar *



被豆瓣的反爬虫机制制裁了。。。

一行shell代码进行爬虫,没想到。。。。