Ludzie mogą łatwo gromadzić i skrobać informacje z wielu źródeł, takich jak Facebook, Reddit i Twitter. O scraperze można myśleć jako o wyspecjalizowanym narzędziu, które dokładnie i szybko wyodrębnia dane ze strony internetowej. Interfejsy API do skrobania pomagają skrobakom uniknąć zbanowania przez techniki anty-skrobania, które umieszczają strony internetowe. Korzystanie z interfejsów API jest jednak kosztowne w porównaniu z narzędziem proxy zarządzanym samodzielnie.
Reddit ma API o nazwie Python Reddit API Wrapper, w skrócie PRAW, do indeksowania danych. Na tym blogu pokażę ci kroki, jak zeskrobać Reddit za pomocą Pythona. Ale zanim to nastąpi, musisz wiedzieć, dlaczego musisz skrobać Reddit.
Jeśli mówimy o projekcie Reddita, to jest on podzielony na kilka społeczności znanych jako "subreddity". W Internecie można znaleźć dowolny subreddit na interesujący nas temat. Badacze społeczni przeprowadzają analizy, wyciągają wnioski i wdrażają plany działania, gdy wyodrębniają dyskusje Reddit na określony temat.
Z Reddita można pobrać wiele danych, takich jak:
Możesz zeskrobać dowolne informacje z Reddit istotne dla Twojej firmy ze względu na następujące potrzeby:
Na przykład,
Skrobanie Reddit wykorzystuje skrobaki internetowe (programy komputerowe) do wyodrębniania publicznie dostępnych danych z witryny Reddit. Korzystanie ze skrobaków Reddit jest konieczne ze względu na ograniczenia, z którymi trzeba się zmierzyć podczas korzystania z oficjalnego interfejsu API Reddit. Jeśli jednak użyjesz skrobaka internetowego, który nie korzysta z interfejsu API Reddit do wyodrębniania danych z Reddit, naruszysz warunki korzystania z Reddit. Nie oznacza to jednak, że web scraping jest nielegalny.
Aby sesja scrapingu przebiegła bezproblemowo, musisz ominąć systemy anty-scrapingowe wprowadzone przez Reddit. Najczęstsze techniki anty-skrobania stosowane przez Reddit to:
Problem śledzenia IP można rozwiązać za pomocą serwerów proxy i rotacji IP. Z drugiej strony, problem Captcha można rozwiązać za pomocą rozwiązań Captcha, takich jak 2Captcha.
Istnieje pięć sposobów na scrape'owanie Reddita:
Zobaczmy, jak możemy zeskrobać Reddit za pomocą Reddit API za pomocą poniższych kroków.
Najpierw zaimportujemy wbudowane moduły Pandas, tj. datetime, oraz dwa moduły innych firm, PRAW i Pandas, jak pokazano poniżej:
import praw
import pandas as pd
import datetime as dtDostęp do danych Reddit można uzyskać za pomocą Praw, co jest skrótem od Python Reddit API Wrapper. Najpierw należy połączyć się z Reddit, wywołując funkcję praw.Reddit i przechowując ją w zmiennej. Następnie należy przekazać do funkcji następujące argumenty.
reddit = praw.Reddit(client_id='PERSONAL_USE_SCRIPT_14_CHARS', \
client_secret='SECRET_KEY_27_CHARS', \
user_agent='YOUR_APP_NAME', \
username='YOUR_REDDIT_USER_NAME', \
password='YOUR_REDDIT_LOGIN_PASSWORD')subreddit = reddit.subreddit('Nootropics')Każdy subreddit ma pięć różnych sposobów organizowania tematów tworzonych przez Redditorów:
Możesz pobrać najczęściej głosowane tematy jako:
top_subreddit = subreddit.top()Otrzymasz obiekt podobny do listy zawierający 100 najlepszych zgłoszeń w r/Nootropics. Jednak limit żądań Reddit wynosi 1000, więc możesz kontrolować wielkość próbki, przekazując limit do .top as:
top_subreddit = subreddit.top(limit=600)Możesz skrobać dowolne dane. Będziemy jednak pobierać poniższe informacje o tematach:
Zrobimy to, przechowując nasze dane w słowniku, a następnie używając pętli for, jak pokazano poniżej.
topics_dict = { "title":[], \
"score":[], \
"id":[], "url":[], \
"created": [], \
"body":[]}Teraz możemy pobrać dane z interfejsu API Reddit. Dodamy informacje do naszego słownika, iterując po naszym obiekcie top_subreddit.
for submission in top_subreddit:
topics_dict["id"].append(submission.id)
topics_dict["title"].append(submission.title)
topics_dict["score"].append(submission.score)
topics_dict["created"].append(submission.created)
topics_dict["body"].append(submission.selftext)Teraz umieszczamy nasze dane w Pandas Dataframes, ponieważ słowniki Pythona nie są łatwe do odczytania.
topics_data = pd.DataFrame(topics_dict)Bardzo łatwo jest tworzyć pliki danych w różnych formatach w Pandas, więc użyjemy następujących linii kodu, aby wyeksportować nasze dane do pliku CSV.
topics_data.to_csv('FILENAME.csv', index=False)Wiesz, że Reddit nie jest zbyt rygorystyczną witryną, jeśli chodzi o ograniczenia dotyczące korzystania z proxy. Możesz jednak zostać złapany i ukarany, jeśli zautomatyzujesz swoje działania na Reddit bez korzystania z serwerów proxy.
Przyjrzyjmy się zatem niektórym z najlepszych serwerów proxy dla Reddit, które dzielą się na dwie kategorie:
Poniżej znajdują się niektóre z najlepszych serwerów proxy dla Reddit.
ProxyScrape świadczy trzy rodzaje usług dla swoich użytkowników, tj,
Potrzebujesz serwerów proxy, gdy pracujesz z niektórymi automatycznymi narzędziami na Reddit. Dzieje się tak dlatego, że Reddit jest bardzo wrażliwą witryną, która łatwo wykrywa automatyczne działania i blokuje dostęp do platformy. Tak więc, jeśli automatyzujesz niektóre zadania, takie jak głosowania, posty, dołączanie/odłączanie od grup i zarządzanie więcej niż jednym kontem, zdecydowanie musisz korzystać z serwerów proxy, aby uniknąć złych wyników.
Możesz przejść do ręcznego skrobania, jeśli twoje wymagania dotyczące skrobania Reddit są niewielkie. Ale jeśli wymagania stają się duże, musisz wykorzystać zautomatyzowane metodologie skrobania, takie jak narzędzia do skrobania stron internetowych i niestandardowe skrypty. Narzędzia do web scrapingu okazują się być efektywne pod względem kosztów i zasobów, gdy dzienne wymagania dotyczące scrapingu nie przekraczają kilku milionów postów.
Przyjrzyjmy się więc niektórym z najlepszych skrobaków Reddit jako najlepszemu rozwiązaniu do skrobania dużych ilości danych Reddit.