网络抓取程序找不到我可以在浏览器中看到的元素
问题内容:
我正在尝试使用Requests和BeautifulSoup在https://www.twitch.tv/directory/game/Dota%202上获取流的标题。我知道我的搜索条件正确,但是我的程序找不到我需要的元素。
这是一个屏幕截图,显示了浏览器中源代码的相关部分:
HTML源代码为文本:
<div class="tw-media-card-meta__title">
<div class="tw-c-text-alt">
<a class="tw-full-width tw-interactive tw-link tw-link--button tw-link--hover-underline-none tw-link--inherit" data-a-target="preview-card-title-link" href="/weplayesport_en">
<div class="tw-align-items-start tw-flex">
<h3 class="tw-ellipsis tw-font-size-5" title="NAVI vs HellRaisers " BO5 | ODPixel & S4 | WeSave! Charity Play">NAVI vs HellRaisers | BO5 | ODPixel & S4 | WeSave! Charity Play</h3>
</div>
</a>
</div>
</div>
这是我的代码:
import requests
from bs4 import BeautifulSoup
req = requests.get("https://www.twitch.tv/directory/game/Dota%202")
soup = BeautifulSoup(req.content, "lxml")
title_elems = soup.find_all("h3", attrs={"title": True})
print(title_elems)
当我运行它时,title_elems
它只是一个空列表([]
)。
为什么我的程序找不到元素?
问题答案:
在初始页面加载后,您感兴趣的元素是动态生成的,这意味着您的浏览器执行JavaScript,发出其他网络请求等以构建页面。请求只是一个HTTP库,因此不会做那些事情。
您可以使用Selenium之类的工具,甚至可以分析网络流量以获取所需的数据并直接发出请求。