BeautifulSoup无法找到视频或某些div标签
问题描述:
我不知道为什么它不让我访问视频标签。BeautifulSoup无法找到视频或某些div标签
我试图抓取视频源,但它不让我访问'视频'标签。
<video class="jw-video jw-reset" disableremoteplayback="" webkit-
playsinline="" playsinline="" jw-loaded="data"
src="randomsrc2" jw-played="" style="object-fit:
fill;"></video>
#web scraping stuff
#web scraping stuff
import bs4 as bs
import urllib.request
url = 'https://gostream.is/film/cars-3-21095/watching.html?ep=682669'
user_agent = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US;
rv:1.9.0.7) Gecko/2009021910 Firefox/3.0.7'
headers={'User-Agent':user_agent,}
q = urllib.request.Request(url, headers=headers)
sauce = urllib.request.urlopen(q).read()
soup = bs.BeautifulSoup(sauce,'lxml')
print(soup)
f=open('testd2.txt','w+')
kuk = str(soup)
f.write(kuk) #When I search for 'video' in the file it doesn't give me anything
video = soup.find('video')
print(video) #gives None
答
在火狐浏览器about:config
和搜索javascript.enabled
为假。打开你的链接。如果您在浏览器中没有看到您的视频链接,那么这意味着标签正在使用JavaScript在运行时插入。而请求将无法做到这一点。
因此,你需要一个浏览器和硒。在这种情况下,你会几率使你的代码如下
from selenium import webdriver
driver = webdriver.Firefox()
url = 'https://gostream.is/film/cars-3-21095/watching.html?ep=682669'
driver.get(url)
sauce = driver.page_source
soup = bs.BeautifulSoup(sauce,'lxml')
你甚至可以删除的汤一起,使用类似下面
for elem in driver.find_elements_by_tag_name("video"):
print(elem.get_attribute("src"))
+0
即使使用Firefox,它也不起作用。 – Filip
+0
@Filip,我的标签名称错误。它应该是“视频”而不是“视频”。我运行我的代码并得到了输出'blob:https:// gostream.is/fd3f41ae-e86d-1f48-9a20-8ca60590e4cf' –
的'