刮掉NBA.com的数据
问题描述:
我试图从http://stats.nba.com/team/#!/1610612742/刮掉关于名单数据的数据。到目前为止,我已经试过RCurl和XML封装,心中已经试过代码如下:刮掉NBA.com的数据
library(RCurl)
library(XML)
webpage <- getURL("http://stats.nba.com/team/#!/1610612742/")
webpage <- readLines(tc <- textConnection(webpage));
pagetree <- htmlTreeParse(webpage, useInternalNodes = TRUE)
x <- unlist(xpathApply(pagetree,"//*nba-stat-table_overflow/player",xmlValue))
Content <- gsub(pattern = "([\t\n])",
replacement = " ", x = x, ignore.case = TRUE)
我相信我的xpathApply功能被误格式化。我应该选择什么样的路径才能进入名单表?
答
你可以这样做:
require(rvest)
require(httr)
require(purrr)
ses <- html_session("http://stats.nba.com/team/#!/1610612742/",
user_agent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36"))
doc <- ses %>% jump_to("http://stats.nba.com/stats/commonteamroster?LeagueID=00&Season=2016-17&TeamID=1610612742")
res <- content(doc$response, "parsed")
res$resultSets[[1]]$rowSet %>%
map_df(~as.data.frame(t(.)))
# V1 V2 V3 V4 V5 V6 V7 V8 V9 V10 V11 V12 V13
#1 1610612742 2016 00 Justin Anderson 1 G-F 6-6 228 NOV 19, 1993 23 1 Virginia 1626147
#2 1610612742 2016 00 J.J. Barea 5 G 6-0 185 JUN 26, 1984 32 10 Northeastern 200826
#3 1610612742 2016 00 Andrew Bogut 6 C 7-0 260 NOV 28, 1984 32 11 Utah 101106
res$resultSets[[2]]$rowSet %>%
map_df(~as.data.frame(t(.)))
# V1 V2 V3 V4 V5 V6 V7 V8 V9
#1 1610612742 2016 CAR107961 Rick Carlisle Rick Carlisle rick_carlisle 1 Head Coach
#2 1610612742 2016 HUN524472 Melvin Hunt Melvin Hunt melvin_hunt 2 Assistant Coach
#3 1610612742 2016 CAN081621 Kaleb Canales Kaleb Canales kaleb_canales 2 Assistant Coach
我是怎么找到这个:
我检查所有的XHR调用该网站取得 ,发现它需要一个会话(这就是为什么我创建一个使用html_session
),并设置一个用户代理(不知道这是真正需要的...)没有UA我的要求就卡住了> 30秒......
它看起来像通过JavaScript以某种方式加载数据,这意味着你需要拉动HTML像RSelenium,它可以控制浏览器实际运行必要的脚本。 [这是一个例子。](http://*.com/a/41497119/4497050)当然,一定要阅读条款和条件;他们是相当慷慨的,但非常具体的如何使用他们的统计数据。 – alistaire
我很抱歉,这只是一个网上抓取作业的作业 –
没有道歉的必要;这不是最简单的页面。*是一个更容易实践的网站。 – alistaire