cURL to skrót od client URL i narzędzie wiersza poleceń do wysyłania i odbierania danych z serwera. Jest rozpowszechniany w nowoczesnych systemach operacyjnych, w tym Windows 10 i dystrybucjach Linuksa. Jest to wygodna biblioteka, która umożliwia wysyłanie i odbieranie danych do i ze stron internetowych i jest niezbędnym narzędziem do skrobania stron internetowych. Zanim przyjrzymy się prostemu przykładowi, dowiedzmy się, co należy wiedzieć, aby ją zainstalować.
sudo apt install curl.
W systemie Windows otwórz terminal lub wiersz polecenia i wpisz:
<em><strong>curl https://www.yahoo.com</strong></em>W konsoli wypisany zostanie kod HTML strony.
cURL przesyła dane do i ze stron internetowych za pomocą protokołów internetowych. Chociaż początkowo cURL został opracowany do pracy z protokołami HTTP, obecnie obsługuje wiele protokołów sieciowych, takich jak FTP, IMAP, IMAPS, SMTP, POP3, POP3S i inne.
Obsługuje również metody POST, GET, PUT i niektóre inne metody wysyłania żądań. Spójrzmy na przykład wysyłania niektórych danych za pomocą danych post.
curl -d "name=yourname&value=somevalue" https://examplewebsite.com/post"Powyższy fragment kodu oznacza, że używasz metody post, aby przekazać swoją nazwę i pewną wartość do strony post witryny examplewebsite.com.
Teraz wiesz już, czym jest cURL i przejdźmy do jego wykorzystania z serwerami proxy.
Konfiguracja cURL z adresem proxy pomoże ludziom usprawnić komunikację danych dzięki wszystkim tym funkcjom proxy.
Korzystanie z cURL z proxy zapewni użytkownikom możliwość ukrycia swojej tożsamości przed serwerem. Jeśli użytkownicy wolą pobierać informacje bez informowania innych o swojej rzeczywistej tożsamości, mogą skonfigurować adres proxy wraz z żądaniem polecenia cURL. W takim przypadku serwer proxy przekaże żądanie użytkownika w jego imieniu, a rzeczywista tożsamość zostanie ukryta. Proxyscrape zapewnia serwery proxy wszystkich typów protokołów, takich jak HTTP, Socks4 i Socks5 , które mogą zachować anonimowość dla wszystkich typów żądań.
Gdy użytkownicy z jednej lokalizacji są ograniczeni w pobieraniu treści z witryn z innych granic geograficznych, serwery proxy pomogą im ominąć te ograniczenia. Proxyscrape udostępnia serwery proxy z wielu krajów, dzięki czemu użytkownicy mogą wybrać żądany, aby ominąć blokady geograficzne.
Serwerów proxy można używać do łączenia się ze stroną internetową za pomocą cURL. Na przykład, serwery proxy są niezbędne w okolicznościach, gdy używasz cURL do skrobania danych. Pozostajesz wtedy anonimowy dla docelowej strony internetowej, z której pobierasz dane.
Aby połączyć się z serwerami proxy, należy podać adres serwera proxy, numer portu i typ protokołu, a jeśli wymagane jest uwierzytelnianie, należy wprowadzić nazwę użytkownika i hasło. Przyjrzyjmy się prostemu przykładowi: zakładamy, że adres serwera proxy to 127.0.0.1, a numer portu to 8920. Poniższy przykład to podstawy połączeń proxy z cURL, które będą działać dla każdej usługi proxy.
Składnia połączenia z proxy będzie następująca:
curl --proxy proxyaddress: port https://examplewebsite.comzamieniłbym na:
curl --proxy 127.0.0.1:8920 https://examplewebsite.comPowyższe polecenie przekieruje połączenie przez proxy do examplewebsite.com.
Teraz przyjrzymy się przykładowi, który wymaga uwierzytelnienia, gdzie nazwa użytkownika to nazwa użytkownika, a hasło to hasło.
curl --proxy 127.0.0.1:8920 -U "username:password" https://examplewebsite.comTeraz możesz dowiedzieć się, jakich poleceń użyć podczas łączenia cURL z protokołem proxy, używając :
curl --helpNiewątpliwie zwróciłoby to ogromną listę, a my skupimy się na najbardziej podstawowych poleceniach wymienionych poniżej:
-x, --proxy [protocol://]host[:port]W tym poleceniu x wraz z -proxy oznacza szczegóły proxy, gdzie można użyć dowolnego z nich, ponieważ oba są poprawne. Należy jednak pamiętać, że w x rozróżniana jest wielkość liter.
Ponadto, aby upewnić się, że korzystasz z serwerów proxy, możesz użyć następującego polecenia:
curl http://httpbin.org/ipPolecenie to zazwyczaj zwraca adres IP źródła. Jeśli więc korzystasz z serwera proxy, zwróci ono adres IP serwera proxy zamiast twojego.
Teraz, łącząc to wszystko razem, można wysłać żądanie w następujący sposób:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip"Również poniższe polecenie będzie takie samo jak powyżej:
curl --x "http://username:[email protected]:8920" "http://httpbin.org/ip"Ważnym faktem, o którym należy pamiętać, jest to, że należy używać cudzysłowów zarówno dla adresu URL proxy, jak i docelowego adresu URL jako najlepszej praktyki. Wynika to z obecności znaków specjalnych w adresie URL.
Ponadto, jeśli wystąpią jakiekolwiek błędy certyfikatu SSL, należy dodać małe litery -k na końcu polecenia, jak pokazano poniżej:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip" -k. Pozwoli to na przechodzenie niezabezpieczonych połączeń podczas korzystania z połączenia SSL.
Podczas korzystania z serwerów proxy domyślnym protokołem jest HTTP, chyba że wyraźnie określono inaczej. Dlatego oba poniższe polecenia są poprawne:
Jeśli chcesz mieć proxy dla cURL, możesz utworzyć plik curl-config w następujący sposób.
Jeśli korzystasz z systemu macOS lub Linux, przede wszystkim musisz otworzyć terminal i przejść do katalogu domowego. Jeśli istnieje plik .curlrc, należy go otworzyć i utworzyć nowy pusty plik. Możesz użyć poniższych poleceń, aby przejść do pliku:
cd~
nano .curlrc.Następnie należy dodać tę linię w pliku:
pełnomocnik="http://username:[email protected]:8920"Zapisz plik i teraz możesz używać cURL z proxy. Po prostu musisz uruchomić cURL normalnie, a on odczyta proxy z powyższego pliku:
curl "http://httpbin.org/ip"echo %APPDATA%Powyższe polecenie zwróci ścieżkę, do której należy przejść. Następnie należy utworzyć plik _curlrc i ustawić proxy tak samo jak w systemie macOS lub Linux.