检查类型：如何检查某些东西是RDD还是DataFrame？
问题内容：
我正在使用Python，这是Spark RDD / DataFrame。
我尝试过，isinstance(thing, RDD)但是RDD没有被认可。
我需要这样做的原因：
我正在编写一个可以同时传递RDD和的函数DataFrame，因此input.rdd如果传递了DataFrame，则需要做得到底层的RDD。
问题答案：
isinstance 会很好地工作：
from pyspark.sql import DataFrame
from pyspark.rdd import RDD
def foo(x):
if isinstance(x, RDD):
return "RDD"
if isinstance(x, DataFrame):
return "DataFrame"
foo(sc.parallelize([]))
## 'RDD'
foo(sc.parallelize([("foo", 1)]).toDF())
## 'DataFrame'
但是单次调度是一种更为优雅的方法：
from functools import singledispatch
@singledispatch
def bar(x):
pass
@bar.register(RDD)
def _(arg):
return "RDD"
@bar.register(DataFrame)
def _(arg):
return "DataFrame"
bar(sc.parallelize([]))
## 'RDD'
bar(sc.parallelize([("foo", 1)]).toDF())
## 'DataFrame'
如果您不介意其他依赖项multipledispatch也是一个有趣的选择：
from multipledispatch import dispatch
@dispatch(RDD)
def baz(x):
return "RDD"
@dispatch(DataFrame)
def baz(x):
return "DataFrame"
baz(sc.parallelize([]))
## 'RDD'
baz(sc.parallelize([("foo", 1)]).toDF())
## 'DataFrame'
最后，最Python化的方法是简单地检查一个接口：
def foobar(x):
if hasattr(x, "rdd"):
## It is a DataFrame
else:
## It (probably) is a RDD
