使用Python lxml和Iterparse解析大型XML文件
问题内容:
我试图使用lxml和iterparse方法编写解析器,以逐步浏览包含许多项目的非常大的xml文件。
我的文件格式为:
<item>
<title>Item 1</title>
<desc>Description 1</desc>
<url>
<item>http://www.url1.com</item>
</url>
</item>
<item>
<title>Item 2</title>
<desc>Description 2</desc>
<url>
<item>http://www.url2.com</item>
</url>
</item>
到目前为止,我的解决方案是:
from lxml import etree
context = etree.iterparse( MYFILE, tag='item' )
for event, elem in context :
print elem.xpath( 'description/text( )' )
elem.clear( )
while elem.getprevious( ) is not None :
del elem.getparent( )[0]
del context
当我运行它时,我得到类似于以下内容:
[]
['description1']
[]
['description2']
空集是因为它还会将属于子项的item标记拉出到url标记中,并且显然没有使用xpath提取的描述字段。我的希望是逐项分析每个项目,然后根据需要处理子字段。我只是在学习lxml库,所以我很好奇是否有一种方法可以提取主要项目,同时又可以保留任何子项目?
问题答案:
无论如何,整个XML都是由核心实现解析的。etree.iterparse只是生成器样式的视图,它提供了按标记名称的简单过滤(请参阅docstring
http://lxml.de/api/lxml.etree.iterparse-
class.html
)。如果您想进行复杂的过滤,则应自己完成。
解决方案:还注册启动事件:
iterparse(self, source, events=("start", "end",), tag="item")
并知道您何时处于“ item”端,何时处于“ item / url / item”端。