Ten artykuł zabierze Cię w podróż wyjaśniającą, jak skrobać strony internetowe w poszukiwaniu ofert pracy. Jesteś na rynku pracy i próbujesz znaleźć najlepszą pracę. Ale chcesz grać mądrzej, a nie trudniej. Dlaczego nie zbudować skrobaka internetowego do zbierania i analizowania ofert pracy. Po skonfigurowaniu go, dostarczy ci bogactwa danych w ładnym, uporządkowanym formacie, dzięki czemu nie będziesz musiał sprawdzać ich ręcznie raz za razem. Zaczynajmy.
Web scraping dla ofert pracy to rozwiązanie, które automatycznie zbiera dane z wielu portali pracy i skraca czas pobierania danych z każdej strony internetowej. Posiadanie takiego narzędzia, które może zapewnić pełną bazę danych ofert pracy, wielokrotnie uprości zadanie. Wszystko, co musisz zrobić, to przefiltrować te, które będą Ci odpowiadać i przejść do procesu aplikowania.
Jesteś na rynku pracy i próbujesz znaleźć najlepszą pracę. Ale chcesz grać mądrzej, a nie trudniej. Dlaczego nie zbudować skrobaka internetowego, który będzie zbierał i analizował oferty pracy? Po skonfigurowaniu go, dostarczy ci bogactwa danych w ładnym, uporządkowanym formacie, dzięki czemu nie będziesz musiał sprawdzać ich ręcznie raz za razem. Zaczynajmy.
[Zastrzeżenie! Wiele stron internetowych może ograniczać pobieranie danych ze swoich stron. Użytkownicy mogą podlegać kwestiom prawnym w zależności od tego, gdzie i w jaki sposób próbują wyodrębnić informacje. Należy więc zachować szczególną ostrożność, przeglądając strony, które przechowują ich dane. Na przykład Facebook, LinkedIn i Craiglist czasami mają coś przeciwko, jeśli dane są pobierane z ich stron. Jeśli więc chcesz skrobać, rób to na własne ryzyko].
Będzie to bardzo podstawowy artykuł, w którym zobaczymy podstawy skrobania stron internetowych, wyodrębniając przydatne informacje dotyczące ofert pracy związanych z "Data Science" z indeed.com. Będziemy pisać niesamowity program, który aktualizuje oferty pracy wiele razy ręcznie. Niektóre przydatne biblioteki, które będą bardzo przydatne podczas tworzenia tego scrapera to "requests" i "BeautifulSoup".
Sposób struktury adresu URL jest istotny:
Taka struktura adresów URL byłaby niezwykle pomocna podczas dalszego tworzenia scrapera i gromadzenia danych z wielu stron.
Chrome może zbadać strukturę HTML strony, klikając ją prawym przyciskiem myszy i używając opcji inspect element. Po prawej stronie pojawi się menu, które pokaże również zagnieżdżone znaczniki elementów, a po umieszczeniu kursora na tych elementach podświetli tę część ekranu.
W tym artykule zakładam, że znasz podstawy HTML, takie jak znaczniki, divy itp., ale na szczęście nie musisz wiedzieć wszystkiego. Wystarczy zrozumieć strukturę strony i hierarchię różnych komponentów.
Teraz przeanalizowaliśmy strukturę strony. Pomoże nam to zbudować kod zgodnie z tymi informacjami, aby wyciągnąć wybrane przez nas dane. Zacznijmy najpierw od zaimportowania naszych bibliotek. Zauważ, że importujemy tutaj również "czas", co będzie pomocne, aby nie przeciążać serwera witryny podczas skrobania informacji.
import requests
import bs4
z bs4 import BeautifulSoup
import pandas as pd
import timeNajpierw skierujemy pojedynczą stronę, aby wycofać każdy element informacji, który chcemy,
URL = "https://www.indeed.com/jobs?q=data+scientist+%2420%2C000&l=New+York&start=10"
#wykonanie żądania podanego powyżej adresu URL:
page = requests.get(URL)
#określenie pożądanego formatu "strony" przy użyciu parsera html - pozwala to Pythonowi odczytać różne komponenty strony, zamiast traktować ją jako jeden długi ciąg.
soup = BeautifulSoup(page.text, "html.parser")
# drukowanie zupy w bardziej uporządkowanym formacie drzewa, który ułatwia czytanie
print(soup.prettify())Korzystanie z funkcji prettify ułatwia przegląd kodowania HTML strony i zapewnia takie dane wyjściowe,
Teraz wszystkie informacje o interesującej nas stronie znajdują się w zmiennej "soup". Musimy bardziej zagłębić się w kod, aby iterować przez różne tagi i pod-tagi w celu przechwycenia wymaganych informacji.
Pięć kluczowych punktów dla każdego ogłoszenia o pracę to,
Jeśli spojrzymy na stronę, jest tam 15 ofert pracy. Dlatego nasz kod powinien również wygenerować 15 różnych pozycji. Jeśli jednak kod zapewnia mniej niż to, możemy odnieść się do strony i zobaczyć, co nie zostało przechwycone.
As can be seen, the entirety of each job posting is under <div> tags, with an attribute “class” = “row result.”
Further, we could also see that job titles are under <a> tags, with the attribute “title = (title)”. One can see the value of the tag’s attribute with tag[“attribute”], so I can use it to find each posting’s job title.
Podsumowując, funkcja, którą zobaczymy, obejmuje następujące trzy kroki,
def extract_job_title_from_result(soup):
jobs = []
for div in soup.find_all(name="div", attrs={"class":"row"}):
for a in div.find_all(name="a", attrs={"data-tn-element":"jobTitle"}):
jobs.append(a["title"])
return(jobs)
extract_job_title_from_result(soup)Ten kod da następujący wynik,
Getting company names can be a bit tricky because most of them are appearing in <span> tags, with “class”:” company”. They are also housed in <span> tags with “class”:” result-link-source”.
Będziemy używać instrukcji if/else, aby wyodrębnić informacje o firmie z każdego z tych miejsc. Aby usunąć białe spacje wokół nazw firm, gdy są one wyprowadzane, użyjemy inputting.strip() na końcu.
def extract_company_from_result(soup):
companies = []
for div in soup.find_all(name="div", attrs={"class":"row"}):
company = div.find_all(name="span", attrs={"class":"company"})
if len(company) > 0:
for b in company:
companies.append(b.text.strip())
else:
sec_try = div.find_all(name="span", attrs={"class":"result-link-source"})
for span in sec_try:
companies.append(span.text.strip())
return(companies)
extract_company_from_result(soup)Locations are located under the <span> tags. Span tags are sometimes nested within each other, such that the location text may sometimes be within “class”:”location” attributes, or nested in “itemprop”:”addressLocality”. However a simple for loop can examine all span tags for text and retrieve the necessary information.
def extract_location_from_result(soup):
locations = []
spans = soup.findAll('span', attrs={'class': 'location'})
for span in spans:
locations.append(span.text)
return(locations)
extract_location_from_result(soup)Wynagrodzenie jest najtrudniejszą częścią do wyodrębnienia z ofert pracy. Większość ofert w ogóle nie publikuje informacji o wynagrodzeniu, podczas gdy inne, które to robią, mogą mieć wiele miejsc, w których można je wybrać. Musimy więc napisać kod, który może pobrać wiele wynagrodzeń z wielu miejsc, a jeśli nie zostanie znalezione żadne wynagrodzenie, musimy utworzyć wartość zastępczą "Nic nie znaleziono" dla wszystkich ofert pracy, które nie zawierają wynagrodzenia.
Some salaries are under <nobr> tags, while others are under <div> tags, “class”:”sjcl” and are under separate div tags with no attributes. Try/except statement can be helpful while extracting this information.
def extract_salary_from_result(soup):
salaries = []
for div in soup.find_all(name="div", attrs={"class":"row"}):
try:
salaries.append(div.find('nobr').text)
except:
try:
div_two = div.find(name="div", attrs={"class":"sjcl"})
div_three = div_two.find("div")
salaries.append(div_three.text.strip())
except:
salaries.append("Nothing_found")
return(salaries)
extract_salary_from_result(soup)Ostatnim zadaniem jest uzyskanie podsumowania pracy. Nie jest jednak możliwe uzyskanie podsumowań zadań dla każdego konkretnego stanowiska, ponieważ nie są one zawarte w kodzie HTML z danej strony Indeed. Możemy uzyskać pewne informacje o każdym stanowisku z tego, co zostało dostarczone. W tym celu możemy użyć Selenium.
But let’s first try this using python. Summaries are located under <span> tags. Span tags are nested within each other such that the location text is within “class”:” location” tags or nested in “itemprop”:” adressLocality”. However, using a simple for loop can examine all span tags for text to retrieve the necessary information.
W tym artykule pokazaliśmy, czym jest web scraping i jak może być pomocny w naszym codziennym życiu na praktycznym przykładzie pobierania danych o ofertach pracy ze stron internetowych Indeed. Należy pamiętać, że otrzymane wyniki mogą różnić się od tych, ponieważ strony są dynamiczne, więc informacje zmieniają się w czasie.
Web Scraping to niesamowita technika, jeśli jest wykonywana prawidłowo i zgodnie z wymaganiami. Zapoznaliśmy się z pięcioma ważnymi aspektami każdej oferty pracy i sposobami ich wyodrębniania. Po samodzielnym wypróbowaniu tego kodu będziesz mieć zeskrobane dane z ofert pracy i nie będziesz musiał ręcznie wyszukiwać ofert pracy, co jest niesamowite. Tę samą technikę można również zastosować do innych stron internetowych, ale ich struktura może się różnić. W związku z tym należy zoptymalizować swój kod pod tym kątem. Ale wszystkie podstawy zostały omówione w tym artykule, więc nie będzie żadnych trudności w skrobaniu innych stron.