用HtmlUnit和httpClient抓施华洛世奇网站图片和动画<一>
让我们先看看施华洛世奇网站界面http://www.swarovski-crystallized.com/吧,这个页面离我们需要抓去页面有4层菜单,也就是需要点击四次才到达我们的目标页面。这个页面有5个菜单,每个菜单需要深入4层菜单。我们简称为CatchMenu1;经测试,4个线程同时抓去需要5个多小时分析
第二层菜单界面,注意这个页面下面还有分页一页一页的,我们简称为CatchMenu2
第三层菜单界面,我们简称为CatchMenu3,注意这个页面下面还有分页哦:
终于到达我们的目标页面了:
好了,需求就是这么简单,开工吧。
1.建立一个菜单模型类:
public class CatchMenuDO implements Serializable
{
private Long id;
private Long parentId;//该菜单的父菜单ID
private String name; //该菜单名称
private String name_url; //菜单对应的页面
private Integer level; //第几层菜单,1表示第一层,2表示第二层,依次类推
private Date gmCreate;
private Date gmModify;
private Boolean fetched=false; //是否已经抓去分析了
private Boolean isLastChild=false; //是否是最小叶菜单,即最后一层的菜单
private String parentName;//父菜单名称
...................................................................................////////////省略
.....................................................................................
}
2.建立连接数据库获取保存菜单以及产品信息DAO类:
public class SwaroSkiDAOImpl extends SqlMapClientDaoSupport implements SwaroSkiDAO
{
public int addProduct(Product product)
{
getSqlMapClientTemplate().insert("SwaroSkiDAO.addProduct", product);
return 1;
}
public Long addProductColor(ProductColor color)
{
Long result= (Long) getSqlMapClientTemplate().insert("SwaroSkiDAO.addProductColor", color);
return result;
}
public Long addProductImageSwf(ProductImageSwf imageswf)
{
Long result= (Long) getSqlMapClientTemplate().insert("SwaroSkiDAO.addProductImageSwf", imageswf);
return result;
}
public Long addProductSize(ProductSize size)
{
Long result= (Long) getSqlMapClientTemplate().insert("SwaroSkiDAO.addProductSize", size);
return result;
}
public List<CatchMenuDO> getCatchMenuList(CatchMenuQueryModel menuModel)
{
List<CatchMenuDO> list= (List<CatchMenuDO>)getSqlMapClientTemplate().queryForList("SwaroSkiDAO.getCatchMenu", menuModel);
return list;
}
}
3.数据库SQL:
<select id="SwaroSkiDAO.getCatchMenu" resultMap="CatchMenuDO" parameterClass="xxxx.xxxx.xxxx.CatchMenuQueryModel">
//这个sql的意思就是获取指定层,指定父类菜单下面所有子菜单
SELECT ID, parent_ID, name, name_url,
menu_level, gm_create,gm_modify,fetched,
is_last_child,parent_name
FROM page_catch_menu
where 1=1
<isNotNull property="level" prepend=" and ">
menu_level =#level#
</isNotNull>
<isNotNull property="parentIdList" prepend=" and ">
parent_ID IN
<iterate property="parentIdList" open="(" close=")" conjunction=",">
#parentIdList[]#
</iterate>
</isNotNull>
</select>
5.终于开始正式开工了:
public class CatchManagerImpl implements ICatchManager
{
private SwaroSkiDAO swaroSkiDAO;//访问数据库的
private static final transient Log log = LogFactory .getLog(CatchManagerImpl.class);
private static ExecutorService pools = Executors.newFixedThreadPool(5);//线程池
private Semaphore sem=new Semaphore(5);//同步信号,多线程开工
public void catchPages()
{
//这个sql的意思就是获取指定层,指定父类菜单下面所有子菜单
CatchMenuQueryModel menu = new CatchMenuQueryModel();
menu.setFetched(false);
List<Long> parentIdList=new ArrayList<Long>();
parentIdList.add(1L);
parentIdList.add(2L);
menu.setLevel(2);
List<CatchMenuDO> menus = swaroSkiDAO.getCatchMenuList(menu);
//使用htmlunit去抓去,模拟火狐浏览器并禁止js,activex组建运行,强啊,htmlunit还可以运行js和activex组建.不愧号称java 语言的浏览器啊
WebClient webClient = new WebClient(BrowserVersion.FIREFOX_3);
webClient.setJavaScriptEnabled(false);
webClient.setActiveXNative(false);
List<String> secondPageUrls = new ArrayList<String>();
List<String> thirdPageUrls = new ArrayList<String>();
log.error("第一层抓取开始..........");
if (menus != null && menus.size() > 0)
{
for (CatchMenuDO mn : menus)
{
String url = "http://www.swarovski-crystallized.com/jewelry/us/";
url = url + mn.getParentName() + mn.getName_url();
HtmlPage mainPage = null;
log.error("开始抓取第一层页面:"+url);
try
{
mainPage = webClient.getPage(url);
} catch (Exception e)
{