在Pyspark中使用UDF函数时，密集向量应为哪种类型？[重复]
问题内容：
这个问题已经在这里有了答案 ：
如何在PySpark
DataFrame中将ArrayType转换为DenseVector？
（1个答案）
2年前关闭。
我想将pySpark中的List更改为Vector，然后将此列用于机器学习模型进行训练。但是我的Spark版本是1.6.0，没有VectorUDT()。那么我应该在udf函数中返回哪种类型？
from pyspark.sql import SQLContext
from pyspark import SparkContext, SparkConf
from pyspark.sql.functions import *
from pyspark.mllib.linalg import DenseVector
from pyspark.mllib.linalg import Vectors
from pyspark.sql.types import *
conf = SparkConf().setAppName('rank_test')
sc = SparkContext(conf=conf)
spark = SQLContext(sc)
df = spark.createDataFrame([[[0.1,0.2,0.3,0.4,0.5]]],['a'])
print '???'
df.show()
def list2vec(column):
print '?????',column
return Vectors.dense(column)
getVector = udf(lambda y: list2vec(y),DenseVector() )
df.withColumn('b',getVector(col('a'))).show()
我尝试了很多Types，这DenseVector()给了我错误：
Traceback (most recent call last):
File "t.py", line 21, in <module>
getVector = udf(lambda y: list2vec(y),DenseVector() )
TypeError: __init__() takes exactly 2 arguments (1 given)
请帮帮我。
问题答案：
您可以将vector和VectorUDT与UDF结合使用，
from pyspark.ml.linalg import Vectors, VectorUDT
from pyspark.sql import functions as F
ud_f = F.udf(lambda r : Vectors.dense(r),VectorUDT())
df = df.withColumn('b',ud_f('a'))
df.show()
+-------------------------+---------------------+
|a |b |
+-------------------------+---------------------+
|[0.1, 0.2, 0.3, 0.4, 0.5]|[0.1,0.2,0.3,0.4,0.5]|
+-------------------------+---------------------+
df.printSchema()
root
|-- a: array (nullable = true)
| |-- element: double (containsNull = true)
|-- b: vector (nullable = true)
关于VectorUDT，http：
//spark.apache.org/docs/2.2.0/api/python/_modules/pyspark/ml/linalg.html
