如何查找监测地点的开始和结束日期

问题描述：

我有NCDC的气象数据集，每个站每小时观测30到70年。每个记录包括气象站的ID，纬度，经度和高程。一个站点（站点）可以在70年内多次移动，而无需更改站点名称或ID。我想创建不同位置的“站历史”列表，以纬度，经度和/或高程（经纬度，高度）的变化表示。我有R代码工作，直到我找到一个站后，几次移动回到了旧的位置。这打破了我的R代码。如何查找监测地点的开始和结束日期

一个站的数据大约有770000行和35列。我正在使用data.table。

简体例如数据集两个站“A”和“B”：

require("data.table") # ver 1.9.5 
DT=data.table(site=c(rep("A",8),rep("B",4)), 
       date=c(seq(from=as.POSIXct("2014-03-01",tz="GMT"), by="day", length.out=8), 
          seq(from=as.POSIXct("2014-07-01",tz="GMT"), by="day", length.out=4)), 
       lat=c(rep(30.1,3),rep(30.2,3),rep(30.1,2),rep(40.3,2),rep(40.4,2)), 
       lon=rep(50.7,12), 
       elev=c(35.0,35,36,36,35,35,35,35,51,52,52,52), 
       x=as.numeric(1:12)) # x is some meteorological data 
setkey(DT,site,date) 
DT 
# site    date lat lon elev x 
# 1: A 2014-03-01 01:00:00 30.1 50.7 35 1 
# 2: A 2014-03-02 01:00:00 30.1 50.7 35 2 
# 3: A 2014-03-03 01:00:00 30.1 50.7 36 3 
# 4: A 2014-03-04 01:00:00 30.2 50.7 36 4 
# 5: A 2014-03-05 01:00:00 30.2 50.7 35 5 
# 6: A 2014-03-06 01:00:00 30.2 50.7 35 6 
# 7: A 2014-03-07 01:00:00 30.1 50.7 35 7 
# 8: A 2014-03-08 01:00:00 30.1 50.7 35 8 
# 9: B 2014-07-01 02:00:00 40.3 50.7 51 9 
# 10: B 2014-07-02 02:00:00 40.3 50.7 52 10 
# 11: B 2014-07-03 02:00:00 40.4 50.7 52 11 
# 12: B 2014-07-04 02:00:00 40.4 50.7 52 12

的每个站不同的位置的名单是：

DT.loc <- unique(DT[,.(site,lat,lon,elev)]) 
DT.loc 
# site lat lon elev 
# 1: A 30.1 50.7 35 
# 2: A 30.1 50.7 36 
# 3: A 30.2 50.7 36 
# 4: A 30.2 50.7 35 
# 5: B 40.3 50.7 51 
# 6: B 40.3 50.7 52 
# 7: B 40.4 50.7 52

这将是最什么，我需要，但是请注意DT行7-8站“A”返回到第一个位置。

期望的输出是一个位置列表，其中包含每个位置观察周期的第一个和最后一个日期。

# site   date.first   date.last lat lon elev 
# 1: A 2014-03-01 01:00:00 2014-03-02 01:00:00 30.1 50.7 35 
# 2: A 2014-03-03 01:00:00 2014-03-03 01:00:00 30.1 50.7 36 
# 3: A 2014-03-04 01:00:00 2014-03-04 01:00:00 30.2 50.7 36 
# 4: A 2014-03-05 01:00:00 2014-03-06 01:00:00 30.2 50.7 35 
# 5: A 2014-03-07 01:00:00 2014-03-08 01:00:00 30.1 50.7 35 
# 6: B 2014-07-01 02:00:00 2014-07-01 02:00:00 40.3 50.7 51 
# 7: B 2014-07-02 02:00:00 2014-07-02 02:00:00 40.3 50.7 52 
# 8: B 2014-07-03 02:00:00 2014-07-04 02:00:00 40.4 50.7 52

我最初有以下代码来产生一个类似的列表，但它没有标识返回到旧的位置。

# find first occurence of each location. 
# This requires DT to be keyed on site,lat,lon,elev,date 
setkey(DT,site,lat,lon,elev,date) 
DT.loc.first <- DT[DT.loc, mult="first", which=TRUE] 
# find last occurence of each location 
DT.loc.last <- DT[DT.loc, mult="last", which=TRUE] 
# get first rows and select columns for history table 
DT.hist <- DT[DT.loc.first, .(site,date.first=date,lat,lon,elev)] 
# add date from last row for location 
DT.hist[, date.last:=DT[DT.loc.last,date]] 
# rearrange and sort the history table 
DT.hist <- DT.hist[,.(site,date.first,date.last,lat,lon,elev)] 
setkey(DT.hist,site,date.first) 
DT.hist 
# site   date.first   date.last lat lon elev 
# 1: A 2014-03-01 01:00:00 2014-03-08 01:00:00 30.1 50.7 35 
# 2: A 2014-03-03 01:00:00 2014-03-03 01:00:00 30.1 50.7 36 
# 3: A 2014-03-04 01:00:00 2014-03-04 01:00:00 30.2 50.7 36 
# 4: A 2014-03-05 01:00:00 2014-03-06 01:00:00 30.2 50.7 35 
# 5: B 2014-07-01 02:00:00 2014-07-01 02:00:00 40.3 50.7 51 
# 6: B 2014-07-02 02:00:00 2014-07-02 02:00:00 40.3 50.7 52 
# 7: B 2014-07-03 02:00:00 2014-07-04 02:00:00 40.4 50.7 52

为第一位置的date.last实际上是所述第一位置的第二占领date.last，并且应具有一个单独的行中，由于站（上面的行4之后）“A”实际上具有5个观察周期。

如何创建所需的站历史记录，并在每个连续时间段的首个和最后一个日期在某个位置？

答

优雅答案由阿伦中Khashaa答案评论：

# making use of DT's sort order on site,date: 
DT.hist <- DT[, .(date.first=date[1L], date.last=date[.N]), 
       by=.(rleid(site,lat,lon,elev),site,lat,lon,elev)] 

# select columns and set sort key of result 
DT.hist <- DT.hist[,.(date.last,lat,lon,elev),keyby=.(site,date.first)] 
DT.hist 
# site   date.first   date.last lat lon elev 
# 1: A 2014-03-01 01:00:00 2014-03-02 01:00:00 30.1 50.7 35 
# 2: A 2014-03-03 01:00:00 2014-03-03 01:00:00 30.1 50.7 36 
# 3: A 2014-03-04 01:00:00 2014-03-04 01:00:00 30.2 50.7 36 
# 4: A 2014-03-05 01:00:00 2014-03-06 01:00:00 30.2 50.7 35 
# 5: A 2014-03-07 01:00:00 2014-03-08 01:00:00 30.1 50.7 35 
# 6: B 2014-07-01 02:00:00 2014-07-01 02:00:00 40.3 50.7 51 
# 7: B 2014-07-02 02:00:00 2014-07-02 02:00:00 40.3 50.7 52 
# 8: B 2014-07-03 02:00:00 2014-07-04 02:00:00 40.4 50.7 52

这将创建历史表，而无需修改DT或改变DT的关键。将site，lat，lon，elev添加到by =会干净地将这些列添加到输出中，即使它们不会更改分组（冗余为rleid）。

或者，不部位，纬度，经度，海拔在通过=：

DT.hist2 <- DT[, .(date.first=date[1L], date.last=date[.N], 
       lat=lat[1L], lon=lon[1L], elev=elev[1L]), 
       by=.(rleid(site,lat,lon,elev))]

但这更键入的，而不是更容易阅读。

如何查找监测地点的开始和结束日期

相关推荐