从Pandas DataFrame创建复杂的嵌套字典
问题内容：
我试图找到一种通用的方法，可以从一个平坦的Pandas DataFrame实例创建（可能很深）嵌套的字典。
假设我有以下DataFrame：
dat = pd.DataFrame({'name' : ['John', 'John', 'John', 'John', 'Henry', 'Henry'],
'age' : [24, 24, 24, 24, 31, 31],
'gender' : ['Male','Male','Male','Male','Male','Male'],
'study' : ['Mathematics', 'Mathematics', 'Mathematics', 'Philosophy', 'Physics', 'Physics'],
'course' : ['Calculus 101', 'Calculus 101', 'Calculus 102', 'Aristotelean Ethics', 'Quantum mechanics', 'Quantum mechanics'],
'test' : ['Exam', 'Essay','Exam','Essay', 'Exam1','Exam2'],
'pass' : [True, True, True, True, True, True],
'grade' : ['A', 'A', 'B', 'A', 'C', 'C']})
dat = dat[['name', 'age', 'gender', 'study', 'course', 'test', 'grade', 'pass']] #re-order columns to better reflect data structure
我想创建一个深度嵌套的字典（或嵌套字典列表），以“尊重”该数据的基础结构。即，等级是关于考试的信息，考试是一个人所做的课程的一部分，是课程的一部分。同样，年龄和性别是关于同一个人的信息。
所需的示例输出是这样的：
[{'John': {'age': 24,
'gender': 'Male',
'study': {'Mathematics': {'Calculus 101': {'Exam': {'grade': 'B',
'pass': True}}},
'Philosophy': {'Aristotelean Ethics': {'Essay': {'grade': 'A',
'pass': True}}}}}},
{'Henry': {'age': 31,
'gender': 'Male',
'study': {'Physics': {'Quantum mechanics': {'Exam1': {'Grade': 'C',
'Pass': True},
'Exam2': {'Grade': 'C',
'Pass': True}}}}}}]
（尽管可能还有其他类似的方法来构造此类数据）。
我尝试使用groupby，这很容易，例如，将“成绩”和“通过”嵌套在“测试”之下，将“测试”嵌套在“课程”之下，将“课程”嵌套在“学习”之下，将“学习”之下’名称’。但是，然后我看不到如何在“名称”下添加“性别”和“年龄”？我想到的最好的是这样的东西：
dic = {}
for ind, row in dat.groupby(['name', 'study', 'course', 'test'])['grade', 'pass']:
#this is ugly and not very generic, but just as an example
if not ind[0] in dic:
dic[ind[0]] = {}
if not ind[1] in dic[ind[0]]:
dic[ind[0]][ind[1]] = {}
if not ind[2] in dic[ind[0]][ind[1]]:
dic[ind[0]][ind[1]][ind[2]] = {}
if not ind[3] in dic[ind[0]][ind[1]][ind[2]]:
dic[ind[0]][ind[1]][ind[2]][ind[3]] = {}
dic[ind[0]][ind[1]][ind[2]][ind[3]]['grade'] = row['grade'].values[0]
dic[ind[0]][ind[1]][ind[2]][ind[3]]['pass'] = row['pass'].values[0]
但是在这种情况下，“年龄”和“性别”不会嵌套在“名称”下。我似乎无法全神贯注于该如何做…
另一个选择是设置MultiIndex并进行.to_dict（’index’）调用。但是话又说回来，我看不到如何在单个键下同时嵌套字典和非字典。
我的问题与此类似： 将pandas
DataFrame转换为嵌套的dict
，但是我正在寻找更复杂的嵌套（例如，不仅最后一列应嵌套在所有其他列下）。关于Stackoverflow的大多数其他问题都要求相反：从深度嵌套的字典中创建一个（可能是MultiIndex）DataFrame。
编辑：问题也与此q类似：熊猫将Dataframe转换为Nested
Json
，但在该问题中，仅 最后一 列（例如 n 列）应嵌套在所有其他列（ n-1 ， n-2
等；完全递归嵌套）。在我的问题，柱 Ñ 和 n-1个 应下嵌套 n-2个 ，但列 N-2 和 N-3 应在嵌套 n-4中
（因此，重要的是， n-2个 被 不 嵌套下 的n-3 ，但下 n-4中 ）。Mohammad Yusuf
Ghazi提供的MultiIndex部分解决方案很好地描述了该结构。
问题答案：
不太简洁，但这是我现在能得到的最好的：
>>> def rollup1(x):
... return x.set_index('test')[['grade', 'pass']].to_dict(orient='index')
>>> def rollup2(x):
... return x.groupby('course').apply(rollup1).to_dict()
>>> def rollup3(x):
... return x.groupby('study').apply(rollup2).to_dict()
>>> df = dat.groupby(['name','age','gender']).apply(rollup3)
>>> df.name = 'study'
>>> res = df.reset_index(level=[1,2]).to_dict(orient='index')
>>> pprint.pprint(res)
{'Henry': {'age': 31L,
'gender': 'Male',
'study': {'Physics': {'Quantum mechanics': {'Exam1': {'grade': 'C',
'pass': True},
'Exam2': {'grade': 'C',
'pass': True}}}}},
'John': {'age': 24L,
'gender': 'Male',
'study': {'Mathematics': {'Calculus 101': {'Essay': {'grade': 'A',
'pass': True},
'Exam': {'grade': 'A',
'pass': True}},
'Calculus 102': {'Exam': {'grade': 'B',
'pass': True}}},
'Philosophy': {'Aristotelean Ethics': {'Essay': {'grade': 'A',
'pass': True}}}}}}
想法是将数据汇总到字典中，同时对数据进行分组以获取“研究”列
更新
我一直在努力，创造更多的通用的解决方案，所以它会为问题的工作像这一个还有：
def rollup_to_dict_core(x, values, columns, d_columns=None):
if d_columns is None:
d_columns = []
if len(columns) == 1:
if len(values) == 1:
return x.set_index(columns)[values[0]].to_dict()
else:
return x.set_index(columns)[values].to_dict(orient='index')
else:
res = x.groupby([columns[0]] + d_columns).apply(lambda y: rollup_to_dict_core(y, values, columns[1:]))
if len(d_columns) == 0:
return res.to_dict()
else:
res.name = columns[1]
res = res.reset_index(level=range(1, len(d_columns) + 1))
return res.to_dict(orient='index')
def rollup_to_dict(x, values, d_columns=None):
if d_columns is None:
d_columns = []
columns = [c for c in x.columns if c not in values and c not in d_columns]
return rollup_to_dict_core(x, values, columns, d_columns)
>>> pprint(rollup_to_dict(dat, ['pass', 'grade'], ['age','gender']))
{'Henry': {'age': 31L,
'gender': 'Male',
'study': {'Physics': {'Quantum mechanics': {'Exam1': {'grade': 'C',
'pass': True},
'Exam2': {'grade': 'C',
'pass': True}}}}},
'John': {'age': 24L,
'gender': 'Male',
'study': {'Mathematics': {'Calculus 101': {'Essay': {'grade': 'A',
'pass': True},
'Exam': {'grade': 'A',
'pass': True}},
'Calculus 102': {'Exam': {'grade': 'B',
'pass': True}}},
'Philosophy': {'Aristotelean Ethics': {'Essay': {'grade': 'A',
'pass': True}}}}}}
