Gdy korzystasz z serwera proxy, nie łączysz się bezpośrednio z serwerem docelowym; zamiast tego kierujesz swoje żądanie do serwera proxy, który je ocenia i zwraca odpowiedź. Serwery proxy mają wiele zalet, takich jak ukrywanie prawdziwych adresów IP, omijanie filtrów, cenzury itp.
Rotator proxy może pomóc w obejściu większości środków zapobiegających skrobaniu. Można go również użyć do ominięcia wszelkich ograniczeń szybkości zaimplementowanych na docelowej stronie internetowej i pomyślnego wyodrębnienia danych. Czym jednak jest rotacyjny serwer proxy? Jest to serwer proxy, który przypisuje nowy adres IP dla każdego połączenia z puli proxy. Oznacza to, że można wysłać 1000 żądań do dowolnej liczby stron internetowych, uruchamiając skrypt i uzyskując 1000 różnych adresów IP.
Ten artykuł pomoże ci zrozumieć, jak używać serwerów proxy do obracania adresów IP w Pythonie.
Musisz zaimportować moduł żądań Pythona za pomocą poniższego polecenia.
żądania importuJeśli moduł nie jest zainstalowany w twoim środowisku, możesz go zainstalować za pomocą poniższego polecenia.
pip install requestsdef send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
passOto główna część kodu. Musisz odczytać plik list_proxy.txt i zapisać go w zmiennej o nazwie proxy, jak pokazano poniżej.
if __name__ == "__main__":
with open('lista_proxy.txt', 'r') as file:
proxy = file.readlines()Aby utworzyć sesję w Pythonie, należy użyć modułu requests. W poniższym kodzie użyliśmy pętli for do zapętlenia proxy. Następnie przekazaliśmy sesję i proxy do funkcji send_request.
with requests.Session() as session:
for proxy in proxy:
send_request(session, proxy)Możesz uruchomić skrypt i zobaczyć dane wyjściowe, jak pokazano poniżej. Otrzymasz długą listę serwerów proxy, ale pamiętaj, że nie będą one działać.
python rotateproxy.pyCały kod będzie wyglądał następująco:
import requests
def send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
pass
if __name__ == "__main__":
with open('list_proxy.txt', 'r') as file:
proxies = file.readlines()
with requests.Session() as session:
for proxy in proxies:
send_request(session, proxy)Poniżej podano kilka wskazówek dotyczących obracania serwerów proxy w Pythonie podczas korzystania z obrotowego serwera proxy.
Większość dostępnych darmowych usług proxy jest przeciążona, co prowadzi do nieoczekiwanych awarii i frustrujących opóźnień. Dlatego też, gdy planujesz skorzystać z darmowych serwerów proxy, musisz sprawdzić, czy spełniają one twoje potrzeby w zakresie skrobania bez powodowania znaczących spadków.
Większość darmowych serwerów proxy jest ważna przez ograniczony czas, więc można zbudować własną logikę w Pythonie, która może rotować rotator listy darmowych serwerów proxy z działającymi adresami IP. W ten sposób nie wystąpią żadne zakłócenia podczas skrobania stron internetowych.
Należy unikać używania adresów IP, które mają określoną sekwencję lub przewidywalny format, np. należą do tej samej grupy. Wynika to z faktu, że większość narzędzi anty-scrapingowych może łatwo wykryć żądania wysyłane z takich adresów IP. Na przykład, powinieneś powstrzymać się od używania następującej sekwencji rotujących adresów IP, ponieważ szybko podniesie to czerwoną flagę.
103.243.132.11
103.243.132.12
103.243.132.13
103.243.132.14
Darmowe rotatory IP proxy są niepewne i powolne. Dlatego też korzystanie z nich nie będzie odpowiednie w przypadku wykonywania zaawansowanych i zakrojonych na szeroką skalę projektów skrobania stron internetowych. Korzystając z dobrych serwerów proxy premium, można uzyskać wysokiej jakości usługę i skrobać tysiące stron internetowych bez doświadczania blokad lub zakłóceń.
Aby skorzystać z usługi proxy premium, należy zapłacić kilka dolarów i uzyskać dostawcę, który spełni potrzeby w zakresie ekstrakcji danych i zagwarantuje prywatność.
Poniżej przedstawiono trzy główne kategorie serwerów proxy w Internecie.
Można użyć rotacji adresów IP w celu rotacji wielu adresów IP i uniknięcia wykrycia. Jednak niektóre środki zapobiegające skrobaniu mogą zidentyfikować takie działania i zablokować zbieranie danych. Dlatego też, aby zwiększyć swoje szanse na sukces, oprócz rotacji adresów IP należy również rotować agentów użytkownika.