使用beautifulsoup查找下一个同胞,直到某个同胞
问题内容:
该网页是这样的:
<h2>section1</h2>
<p>article</p>
<p>article</p>
<p>article</p>
<h2>section2</h2>
<p>article</p>
<p>article</p>
<p>article</p>
如何找到其中包含文章的每个部分?也就是说,在找到h2之后,找到下一个兄弟姐妹
直到下一个h2。
如果网页类似于:(通常是这种情况)
<div>
<h2>section1</h2>
<p>article</p>
<p>article</p>
<p>article</p>
</div>
<div>
<h2>section2</h2>
<p>article</p>
<p>article</p>
<p>article</p>
</div>
我可以编写如下代码:
for section in soup.findAll('div'):
...
for post in section.findAll('p')
但是,如果我想获得相同的结果,该如何处理第一个网页?
问题答案:
我认为您可以执行以下操作:
for section in soup.findAll('h2'):
nextNode = section
while True:
nextNode = nextNode.nextSibling
try:
tag_name = nextNode.name
except AttributeError:
tag_name = ""
if tag_name == "p":
print nextNode.string
else:
print "*****"
break
鉴于:
<h2>section1</h2>
<p>article1</p>
<p>article2</p>
<p>article3</p>
<h2>section2</h2>
<p>article4</p>
<p>article5</p>
<p>article6</p>
输出:
article1
article2
article3
*****
article4
article5
article6
*****