如何从带有向量列的DataFrame创建张量流数据集?
问题内容:
所以我在csv文件中有一些火车数据,train.csv
格式如下:
x;y;type
[1,2,3];[2,3,4];A
[2,7,9];[0,1,2];B
该文件pd.DataFrame
使用以下内容解析为:
CSV_COLUMN_NAMES = ['x', 'y', 'type']
train = pd.read_csv("train.csv", names=CSV_COLUMN_NAMES, header=0, delimiter=";")
train['x'] = train['x'].apply(literal_eval)
train['y'] = train['y'].apply(literal_eval)
到现在为止还挺好。的literal_eval
函数被施加,从而x
与y
被视为阵列。下一步是DataSet
使用以下内容创建一个:
features, labels = train, train.pop('type')
dataset = tf.data.Dataset.from_tensor_slices((dict(features), labels))
这是它破裂的地方:(它溢出了以下错误:
TypeError: Expected binary or unicode string, got [1, 2, 3]
为什么需要二进制或unicode字符串?不允许使用向量要素列吗?还是我做错了什么?请给我一些启示
问题答案:
TF可以从一个数据帧自动创建张量,只要它只有一种数据类型,在这种情况下,它似乎具有不同的数据类型。
没有literal_eval
代码似乎可以正常工作,因为每个功能都是字符串,而不是混合类型:
train = pd.read_csv("train.csv", names=CSV_COLUMN_NAMES, header=0, delimiter=",")
Features,labels = train,train.pop('type')
dataset = tf.data.Dataset.from_tensor_slices((dict(Features), labels))
iterator = dataset.make_initializable_iterator()
next_element = iterator.get_next()
with tf.Session() as sess:
sess.run(iterator.initializer)
print(sess.run(next_element))
print(sess.run(next_element))
输出:
({'y': b'[2, 3, 4]', 'x': b'[1, 2, 3]'}, b'A')
({'y': b'[0, 1, 2]', 'x': b'[2, 7, 9]'}, b'B')
基于此解决方案:(如何将具有对象dtype的Numpy
2D数组转换为浮点数的常规2D数组
)如果我们将混合对象类型转换为相同的对象(使用np.vstack),则可以正常工作。
train['x'] = train['x'].apply(literal_eval)
train['y'] = train['y'].apply(literal_eval)
Features,labels = train,train.pop('type')
dataset = tf.data.Dataset.from_tensor_slices(((np.vstack(Features['x']), np.vstack(Features['y'])), labels))
iterator = dataset.make_initializable_iterator()
next_element = iterator.get_next()
with tf.Session() as sess:
sess.run(iterator.initializer)
print(sess.run(next_element))
print(sess.run(next_element))
输出:
((array([1, 2, 3]), array([2, 3, 4])), b'A')
((array([2, 7, 9]), array([0, 1, 2])), b'B')