创建Spark DataFrame。无法推断类型的架构:
问题内容:
有人可以帮我解决Spark DataFrame遇到的这个问题吗?
当我myFloatRDD.toDF()
收到错误消息时:
TypeError:无法推断类型的架构:type’float’
我不明白为什么
例:
myFloatRdd = sc.parallelize([1.0,2.0,3.0])
df = myFloatRdd.toDF()
谢谢
问题答案:
SparkSession.createDataFrame
,这是发动机罩下使用的,需要一个RDD
/list
的 Row
/ tuple
/
list
/ *或者dict
pandas.DataFrame
,除非用模式DataType
设置。尝试将float转换为元组,如下所示:
myFloatRdd.map(lambda x: (x, )).toDF()
甚至更好:
from pyspark.sql import Row
row = Row("val") # Or some other column name
myFloatRdd.map(row).toDF()
要从DataFrame
标量列表创建一个,您必须SparkSession.createDataFrame
直接使用并提供一个模式***:
from pyspark.sql.types import FloatType
df = spark.createDataFrame([1.0, 2.0, 3.0], FloatType())
df.show()
## +-----+
## |value|
## +-----+
## | 1.0|
## | 2.0|
## | 3.0|
## +-----+
但对于一个简单的范围,最好使用SparkSession.range
:
from pyspark.sql.functions import col
spark.range(1, 4).select(col("id").cast("double"))
*不再受支持。
** Spark SQL还为Python对象公开的模式推断提供了有限的支持__dict__
。
***仅在Spark 2.0或更高版本中受支持。