代码编写中经常会涉及的工具类
欢迎加群574337670
这段时间,应着老板的要求,从无到有,从无从下手,到一步步摸索,终于顺利完成了老板交代的任务,在这次任务当中,学会了很多新知识,在这里,我将总结一下我在此次任务中经常用到的一些工具类,我认为这些工具类,有必要保存一份,这样,不至于到了编码的时候花更多时间去网上找,虽然我这也算在网上找的,但花了我不少时间,为了下次不再浪费更多时间,在此我将把一些常用的工具类分享出来。
我这次做的主要任务是,从网页抓取数据,数据量很大,抓取几个省的天气数据,这当中涉及如何抓取数据,如何寻找可以被我们轻松解析的数据,抓到了数据如何解析,抓到了数据如何存储数据,如何设计表结构,如何将数据存储数据库后能够方便拿出来,等等,这当中涉及的知识点真的不少,说针真的,这是我第一从网页抓取数据,起初,老板给我布置了这个任务,我有点不知所措,不知如何下手,但是没有办法,我硬着头皮跟师兄请教,逼着自己学习,总算有效。
/** * 根据当前时间获取上一月的同一时间 * @return */ public static String lastMonth(){ Calendar now = Calendar.getInstance(TimeZone.getTimeZone("GMT+08:00")); now.setTime(new Date()); int day = now.get(Calendar.DATE); if(1 == day){ now.add(Calendar.MONTH, -1);//获取上一个月份 } SimpleDateFormat format1 = new SimpleDateFormat("yyyy-MM-dd"); return format1.format(now.getTime()); }
/*** * 根据时间查询是星期几, * * @param ctime yyyy-MM-dd * @return */ public static String praseWeeks(String ctime) { Date ctimeDate = DateUtils.parseDate(ctime, DateUtils.SHOW_DATE_FORMAT); String[] weekOfDays = { "星期日", "星期一", "星期二", "星期三", "星期四", "星期五", "星期六" }; Calendar calendar = Calendar.getInstance(); if (ctimeDate != null) { calendar.setTime(ctimeDate); } int w = calendar.get(Calendar.DAY_OF_WEEK) - 1; if (w < 0) { w = 0; } return weekOfDays[w]; }
/*** * 获取15年1月到17年3月的年月字符串集合 */ public static List<String> acceptXingQi() { List<String> list = new ArrayList<String>(); String startdate = "2014-12-01"; DateFormat format = new SimpleDateFormat("yyyy-MM-dd"); Date d1; try { d1 = format.parse(startdate); Calendar c1 = Calendar.getInstance(TimeZone.getTimeZone("GMT+08:00")); c1.setTime(d1); for (int i = 0; i < 26; i++) { c1.add(Calendar.MONTH, 1);//当前的月份加1 SimpleDateFormat format1 = new SimpleDateFormat("yyyy-MM-dd"); list.add(format1.format(c1.getTime())); } } catch (java.text.ParseException e) { e.printStackTrace(); } return list; }
/** * 获取月份的天数 * * @return */ public static int getDayOfMonth(int year, int month) { Calendar cal = Calendar.getInstance(); cal.set(Calendar.YEAR, year); cal.set(Calendar.MONTH, month - 1); return cal.getActualMaximum(Calendar.DATE); }
/** * 比较两个日期之间天数 * * @param fDate * @param oDate */ public static int daysOfTwo(Date fDate, Date toDate) { return (int) ((toDate.getTime() - fDate.getTime()) / (1000 * 60 * 60 * 24)); }
我们再抓取网页数据的时候,经常会遇到以下这样一个问题.403拒绝访问,想必大家这个时候一定非常蛋疼,这访问不了,那数据又改如何抓取呢?这里,我来抛砖引玉,先介绍大家一种方法,解决这样的问题
其实这种问题解决起来也不难,这只不过网站管理员耍的一种小把戏。没什么难度。大家找到你抓取数据时网页的路劲,打开请求他Header,可以发现有这样一个键值对 Referer:http://www.weather.com.cn/weather40d/101310201.shtml ,
没错就是它,就是它,问题就很容易解决了,现在我把主要的抓取数据代码分享出来。
long timeMillis = System.currentTimeMillis(); String url = "http://d1.weather.com.cn/calendar_new/2017/101280101_201703.html?_=1490061939993";//这是你的网页路径 String reqUrl = "http://d1.weather.com.cn/calendar_new/2017/101280101_201704.html?_="+ timeMillis;//1.将后边的时间戳替换 reqUrl = reqUrl.substring(0, reqUrl.indexOf("=", 60) + 1) + timeMillis; Pattern JSON_PATTERN = Pattern.compile("fc40\\s*=\\s*(\\[(\\S*\\s*\\S*)*\\])", Pattern.DOTALL);//2.正则表达式匹配字符串 String rsp = ""; Map<String, String> requests = Maps.newHashMap(); requests.put("Referer","http://www.weather.com.cn/weather40d/101280101.shtml");//3.这一步是最重要的,有了它就能正常访问网页了 try { rsp = WebUtils.doGet(reqUrl, null, null, requests); } catch (IOException e) { e.printStackTrace(); } String jsonStr = null; Matcher m = JSON_PATTERN.matcher(rsp); while (m.find()) { jsonStr = m.group(1); } WebUtils是我们封装的工具类。doGet方法就是请求网页数据,代码都是原生代码,出于保密,我就不贴出来了,此处最重要的一步就是第3步
获取到了数据,但是还是可能会发生你意想不到的问题,比如乱码,这个乱码比较特殊,不像一般的乱码,这种数据采用的是gzip压缩后的格式,所以处理起来就不能想普通乱码那样子去解决。你得解压之后才能去设置编码格式.具体的代码如下
/** * 乱码解决 */ @Test public void testLuanMa() { String htmlContent = ""; java.io.InputStream inputStream = null; java.net.URL url = null; try { url = new java.net.URL("http://tianqi.2345.com/t/wea_history/js/201703/59289_201703.js"); } catch (MalformedURLException e) { e.printStackTrace(); } java.net.HttpURLConnection connection = null; try { connection = (java.net.HttpURLConnection) url.openConnection(); } catch (IOException e2) { e2.printStackTrace(); } try { connection.connect(); } catch (IOException e1) { e1.printStackTrace(); } try { inputStream = connection.getInputStream(); } catch (IOException e) { e.printStackTrace(); } byte bytes[] = new byte[1024 * 100]; int index = 0; int count = 0; try { count = inputStream.read(bytes, index, 1024 * 100); } catch (IOException e1) { e1.printStackTrace(); } while (count != -1) { index += count; try { count = inputStream.read(bytes, index, 1); } catch (IOException e) { e.printStackTrace(); } } try { htmlContent = new String(bytes, "gb2312"); } catch (UnsupportedEncodingException e) { e.printStackTrace(); } System.out.println(htmlContent);