Skrobanie filmów z YouTube za pomocą Pythona - łatwe podejście w 2024 roku

Za pomocą skrobania stron internetowych można wyodrębnić dane z Youtube i przynieść korzyści swojej organizacji, uzyskując cenne spostrzeżenia z tych danych. Kiedy uczysz się wyodrębniać dane z Youtube, ważne jest, aby wiedzieć, jakiego rodzaju dane chcesz uzyskać. Na przykład, jeśli chcesz poznać reakcje ludzi na twoją pracę, możesz zeskrobać sekcję komentarzy w celu analizy nastrojów użytkowników. Podobnie, jeśli chcesz śledzić sukces filmu, możesz zeskrobać dane dotyczące wydajności wideo. 

Zanim dowiemy się, jak skrobać filmy z YouTube, dowiedzmy się, dlaczego musimy je skrobać.

Poniżej wymieniono dwa główne powody skrobania danych z YouTube.

Zobaczmy, jak wyodrębnić dane wideo z Youtube za pomocą Selenium i Pythona. Selenium jest popularnym narzędziem do automatyzacji przeglądarek internetowych. Możesz łatwo zaprogramować skrypt Pythona do automatyzacji przeglądarki internetowej za pomocą Selenium. 

Selenium wymaga sterownika do połączenia z wybraną przeglądarką. Na przykład Chrome wymaga sterownika ChromeDriver, który należy zainstalować przed rozpoczęciem skrobania.

$ pip install selenium

Musisz przejść do katalogu pobierania i wykonać następujące czynności.

$ cd Downloads
$ unzip chromedriver_linux64.zip
$ mv chromedriver /usr/local/bin/

Będziemy pobierać identyfikator wideo, tytuł i opis konkretnej kategorii z Youtube. Kategorie, które możemy pobrać są następujące:

Należy zaimportować niezbędne biblioteki, takie jak Pandas i Selenium.

z selenium import webdriver 
import pandas as pd 
from selenium.webdriver.common.by import By 
from selenium.webdriver.support.ui import WebDriverWait 
from selenium.webdriver.support import expected_conditions as EC

Musisz otworzyć Youtube w swojej przeglądarce. Wpisz kategorię, w której chcesz wyszukiwać filmy i ustaw filtr na "filmy". Otrzymasz filmy związane z wyszukiwaną kategorią. Teraz musisz skopiować adres URL.

Musisz skonfigurować sterownik, aby pobierał zawartość adresu URL z Youtube.

driver = webdriver.Chrome() 
driver.get("YOUR_LINK_HERE")

Możesz użyć poniższego kodu, aby pobrać atrybut "href" wyszukiwanego tagu kotwicy.

user_data = driver.find_elements_by_xpath('//*[@id="video-title"]')
links = []
for i in user_data:
            links.append(i.get_attribute('href'))

 print(len(links))

Należy utworzyć ramkę danych z poniższymi czterema kolumnami.

W tych kolumnach można przechowywać szczegóły filmów dla różnych kategorii.

df = pd.DataFrame(columns = ['link', 'title', 'description', 'category'])

Jesteś gotowy, aby zeskrobać szczegóły wideo z Youtube za pomocą poniższego kodu Pythona.

wait = WebDriverWait(driver, 10)
v_category = "CATEGORY_NAME"
for x in links:
            driver.get(x)
            v_id = x.strip('https://www.youtube.com/watch?v=')
            v_title = wait.until(EC.presence_of_element_located(
                           (By.CSS_SELECTOR,"h1.title yt-formatted-string")).text
            v_description = wait.until(EC.presence_of_element_located(
                                         (By.CSS_SELECTOR,"div#description 
                                         yt-formatted-string")).text
            df.loc[len(df)] = [v_id, v_title, v_description, v_category]

Tutaj,

Wykonamy te same kroki dla pozostałych kategorii. Będziemy mieć cztery różne ramki danych i połączymy je w jedną ramkę danych. W ten sposób nasza ostateczna ramka danych będzie zawierać pożądane szczegóły filmów ze wszystkich kategorii wymienionych powyżej.

frames = [df_travel, df_science, df_food, df_manufacturing]
df_copy = pd.concat(frames, axis=0, join='outer', join_axes=None, ignore_index=True, keys=None, levels=None, names=None, verify_integrity=False, copy=True)

Serwerów proxy Youtube można używać do następujących zadań:

Rezydencyjne serwery proxy są najlepszymi serwerami proxy dla Youtube w porównaniu do serwerów proxy centrów danych. Wynika to z faktu, że serwery proxy centrów danych są łatwo wykrywane, a podczas korzystania z nich trzeba stawić czoła wielu Captchas. Tak więc, aby uniknąć blokowania adresów IP i Captcha, proxy domowe najlepiej nadają się do automatyzacji Youtube.

Wiesz, że Youtube jest wypełniony miliardami cennych danych. Możesz analizować te dane i wykorzystywać je do wielu rzeczy, takich jak:

Podczas scrapowania Youtube potrzebne są serwery proxy. Dzieje się tak, ponieważ Youtube wykorzystuje zaawansowane techniki cyberbezpieczeństwa, które wykrywają próby zakupu wielu przedmiotów z jednego adresu IP. Aby ominąć wykrywanie, należy przekierować ruch internetowy przez kilka serwerów proxy. W ten sposób ruch sieciowy będzie wyglądał na pochodzący z różnych komputerów.

Proxy działają również jako tarcza dla marketerów korzystających z botów Youtube w celu zwiększenia liczby wyświetleń wideo, manipulowania algorytmem rankingu Youtube i uzyskiwania przychodów z reklam.

Dedykowany serwer proxy centrum danych ma kilka funkcji, takich jak nieograniczona przepustowość i jednoczesne połączenia, dedykowane serwery proxy HTTP ułatwiające komunikację oraz uwierzytelnianie IP dla większego bezpieczeństwa. Dzięki 99,9% uptime można mieć pewność, że dedykowane centrum danych będzie zawsze działać podczas każdej sesji. Wreszcie, ProxyScrape zapewnia doskonałą obsługę klienta i pomoże rozwiązać problem w ciągu 24-48 godzin roboczych. 

Inną cechą domowego serwera proxy ProxyScrapejest funkcja rotacji. Rotacyjny serwer proxy pomaga uniknąć trwałego zablokowania konta, ponieważ domowy serwer proxy dynamicznie zmienia adres IP, utrudniając serwerowi docelowemu sprawdzenie, czy korzystasz z serwera proxy, czy nie. 

Oprócz tego, inne cechy proxy mieszkaniowego to: nieograniczona przepustowość, wraz z jednoczesnym połączeniem, dedykowane proxy HTTP/s, proxy w dowolnym momencie sesji ze względu na ponad 7 milionów proxy w puli proxy, uwierzytelnianie nazwy użytkownika i hasła dla większego bezpieczeństwa, a także, co nie mniej ważne, możliwość zmiany serwera krajowego. Możesz wybrać żądany serwer, dołączając kod kraju do uwierzytelniania nazwy użytkownika. 

Następnie najlepiej byłoby zmienić serwer proxy na podstawie kraju. Wystarczy dodać kraj ISO_CODE na końcu uwierzytelniania IP lub uwierzytelniania nazwy użytkownika i hasła. 

Mam nadzieję, że zrozumiałeś, jak skrobać filmy z Youtube za pomocą Pythona.