熊猫,检查datetimeindex的重新采样的30分钟时间段中是否存在时间戳值
问题内容:
我在熊猫中创建了带有的重新采样数据框(DF1)datetimeindex
。我有一个单独的数据框(DF2),带有datetimeindex
和time
列。如果time
来自DF2的实例落在datetimeindex
DF1中的30分钟内,则为。我想用DF1中30分钟的容器中time
的相应值标记DF2中的每个实例speed
。
DF1
boat_id speed
time
2015-01-13 09:00:00 28.000000 0.000000
2015-01-13 09:30:00 28.000000 0.723503
2015-01-13 10:00:00 28.000000 2.239399
DF2
id boat_id time state
time
2015-01-18 16:09:03 319437 28 2015-01-18 16:09:03 2
2015-01-18 16:18:43 319451 28 2015-01-18 16:18:43 0
2015-03-01 09:39:51 507108 31 2015-03-01 09:39:51 1
2015-03-01 09:40:58 507109 31 2015-03-01 09:40:58 0
所需结果
id boat_id time state speed
time
2015-01-18 16:09:03 319437 28 2015-01-18 16:09:03 2 nan
2015-01-18 16:18:43 319451 28 2015-01-18 16:18:43 0 nan
2015-03-01 09:39:51 507108 31 2015-03-01 09:39:51 1 2.239399
2015-03-01 09:40:58 507109 31 2015-03-01 09:40:58 0 2.239399
我创建了此脚本以尝试执行此操作,但由于datetimeindex
DF1是不可变的,因此我认为它失败了,因此我的timedelta
请求没有为该块创建起点。我曾经想过,是否有可能将datetimeindex
DF1复制到对象可变的新列中,但我尚未对其进行管理,因此不能百分百确定逻辑。我很乐于修补,但此刻我已经停滞了一段时间,希望有人能对此有所启发。提前致谢。
for row in DF1.iterrows():
for dfrow in DF2.iterrows():
if dfrow[0] > row[0] - dt.timedelta(minutes=30) and dfrow[0] < row[0]:
df['test'] = row[1]
问题答案:
迭代性能非常低。更好的是使用矢量化解决方案。我使用两次功能merge
。文件。
输入:
print df1
boat_id speed
time
2015-03-01 09:00:00 28 0.000000
2015-03-01 09:30:00 28 0.723503
2015-03-01 10:00:00 28 2.239399
print df2
id boat_id time state
time
2015-01-18 16:09:03 319437 28 2015-01-18 16:09:03 2
2015-01-18 16:18:43 319451 28 2015-01-18 16:18:43 0
2015-03-01 09:39:51 507108 31 2015-03-01 09:39:51 1
2015-03-01 09:40:58 507109 31 2015-03-01 09:40:58 0
我重置两个数据框的索引并创建i
由填充的帮助器列1
。
df1 = df1.reset_index()
df2 = df2.reset_index(drop=True)
df1['i'] = df2['i'] = 1
print df1
time boat_id speed i
0 2015-03-01 09:00:00 28 0.000000 1
1 2015-03-01 09:30:00 28 0.723503 1
2 2015-03-01 10:00:00 28 2.239399 1
print df2
id boat_id time state i
0 319437 28 2015-01-18 16:09:03 2 1
1 319451 28 2015-01-18 16:18:43 0 1
2 507108 31 2015-03-01 09:39:51 1 1
3 507109 31 2015-03-01 09:40:58 0 1
然后我通过helper column合并了两个数据框i
。
df = df2.merge(df1, on='i', how='left')
df = df.rename(columns={'time_y':'Bin_time', 'time_x':'time'})
print df
id boat_id_x time state i Bin_time \
0 319437 28 2015-01-18 16:09:03 2 1 2015-03-01 09:00:00
1 319437 28 2015-01-18 16:09:03 2 1 2015-03-01 09:30:00
2 319437 28 2015-01-18 16:09:03 2 1 2015-03-01 10:00:00
3 319451 28 2015-01-18 16:18:43 0 1 2015-03-01 09:00:00
4 319451 28 2015-01-18 16:18:43 0 1 2015-03-01 09:30:00
5 319451 28 2015-01-18 16:18:43 0 1 2015-03-01 10:00:00
6 507108 31 2015-03-01 09:39:51 1 1 2015-03-01 09:00:00
7 507108 31 2015-03-01 09:39:51 1 1 2015-03-01 09:30:00
8 507108 31 2015-03-01 09:39:51 1 1 2015-03-01 10:00:00
9 507109 31 2015-03-01 09:40:58 0 1 2015-03-01 09:00:00
10 507109 31 2015-03-01 09:40:58 0 1 2015-03-01 09:30:00
11 507109 31 2015-03-01 09:40:58 0 1 2015-03-01 10:00:00
boat_id_y speed
0 28 0.000000
1 28 0.723503
2 28 2.239399
3 28 0.000000
4 28 0.723503
5 28 2.239399
6 28 0.000000
7 28 0.723503
8 28 2.239399
9 28 0.000000
10 28 0.723503
11 28 2.239399
输出按bin时间进行过滤:
df = df[((df.time >= (df.Bin_time - dt.timedelta(minutes=30))) & (df.time <= df.Bin_time ))]
df = df.drop(['Bin_time', 'id', 'boat_id_x', 'boat_id_y','state', 'i' ], axis=1 )
print df
time speed
8 2015-03-01 09:39:51 2.239399
11 2015-03-01 09:40:58 2.239399
并且df
按列time
与dataframe合并df2
。
df = df2.merge(df, on='time', how='left').reset_index(drop=True)
df = df.drop([ 'i' ], axis=1 )
print df
id boat_id time state speed
0 319437 28 2015-01-18 16:09:03 2 NaN
1 319451 28 2015-01-18 16:18:43 0 NaN
2 507108 31 2015-03-01 09:39:51 1 2.239399
3 507109 31 2015-03-01 09:40:58 0 2.239399
比较矢量化和索引编制方法,您可以在此处找到类似的答案。