JobSpy — библиотека для сбора вакансий, которая объединяет данные с популярных сайтов по поиску работы с помощью одного инструмента:
-
Одновременно собирает вакансии с LinkedIn, Indeed, Glassdoor, ZipRecruiter, Bayt, Naukri, BDJobs и HelloWork
-
Объединяет вакансии в датафрейм
-
Поддерживает прокси для обхода блокировок
Установка
pip install -U python-jobspy
Требуется версия Python >= 3.10
Использование
from jobspy import scrape_jobs
jobs = scrape_jobs(
site_name=["indeed", "linkedin", "zip_recruiter", "glassdoor"], # also "bayt", "naukri", "bdjobs", "hellowork"
search_term="software engineer",
location="San Francisco, CA",
results_wanted=20,
hours_old=72,
country_indeed="USA",
# fetch_description=True, # read each job's page on boards whose search results have no description (slower)
# proxies=["user:pass@host:port", "localhost"],
)
print(f"Found {len(jobs)} jobs")
print(jobs.head())
jobs.to_csv("jobs.csv", index=False)
Результат
SITE TITLE COMPANY LOCATION JOB_TYPE INTERVAL MIN_AMOUNT MAX_AMOUNT JOB_URL DESCRIPTION
indeed Software Engineer AMERICAN SYSTEMS Arlington, VA, USA None yearly 150000 200000 https://www.indeed.com/viewjob?jk=5e409e577046... THIS POSITION COMES WITH A 10K SIGNING BONUS!...
indeed Senior Software Engineer TherapyNotes.com Philadelphia, PA, USA fulltime yearly 110000 135000 https://www.indeed.com/viewjob?jk=da39574a40cb... About Us TherapyNotes is the national leader i...
linkedin Software Engineer - Early Career Lockheed Martin Sunnyvale, CA, USA fulltime yearly None None https://www.linkedin.com/jobs/view/3693012711 Description:By bringing together people that u...
linkedin Full-Stack Software Engineer Rain New York, NY, USA fulltime yearly None None https://www.linkedin.com/jobs/view/3696158877 Rain’s mission is to create the fastest and ea...
zip_recruiter Software Engineer - New Grad ZipRecruiter Santa Monica, CA, USA fulltime yearly 130000 150000 https://www.ziprecruiter.com/jobs/ziprecruiter... We offer a hybrid work environment. Most US-ba...
zip_recruiter Software Developer TEKsystems Phoenix, AZ, USA fulltime hourly 65 75 https://www.ziprecruiter.com/jobs/teksystems-0... Top Skills' Details• 6 years of Java developme...
Командная строка
Пакет устанавливает команду jobspy. Её параметры соответствуют параметрам scrape_jobs(), описанным ниже. Чтобы посмотреть список параметров, полей вывода и кодов завершения, выполните jobspy -h.
jobspy "software engineer" --site indeed,linkedin --location Chicago -n 20
jobspy nurse --site indeed,linkedin --hours-old 24 -o jobs.jsonl
jobspy "data analyst" --remote --fields title,company,job_url
Каждая вакансия выводится в stdout отдельной строкой в формате JSON; ошибки и предупреждения направляются в stderr. Параметр --proxies принимает один прокси, список прокси через запятую или путь к файлу, где прокси указаны по одному в строке.
MCP-сервер
mcp-jobspy — MCP-сервер, который можно запустить с помощью uvx mcp-jobspy@latest или установить командой pip install "python-jobspy[mcp]". Инструкции по настройке, инструментам и прокси см. в файле mcp/README.md.
Стандартная конфигурация подходит для большинства клиентов:
{
"mcpServers": {
"jobspy": {
"command": "uvx",
"args": ["mcp-jobspy@latest"]
}
}
}
Параметры scrape_jobs()
Optional
├── site_name (list|str):
| linkedin, zip_recruiter, indeed, glassdoor, google, bayt, bdjobs, naukri, hellowork
| (default is all)
│
├── search_term (str)
|
├── google_search_term (str)
| search term for google jobs. This is the only param for filtering google jobs.
│
├── location (str)
│
├── distance (int):
| in miles, default 50
│
├── job_type (str):
| fulltime, parttime, contract, temporary, internship, perdiem, other, volunteer
│
├── proxies (list|str):
| in format ['user:pass@host:port', 'localhost'], or a single proxy as a string
| each job board scraper will round robin through the proxies
| socks proxies on LinkedIn, Indeed and BDJobs need pip install "requests[socks]"
|
├── is_remote (bool)
│
├── results_wanted (int):
| number of job results to retrieve for each site specified in 'site_name'
│
├── easy_apply (bool):
| filters for jobs that are hosted on the job board site
|
├── user_agent (str):
| override the default user agent which may be outdated
│
├── description_format (str):
| markdown, html, plain (Format type of the job descriptions. Default is markdown.)
│
├── offset (int):
| skips that many results (e.g. 25 skips the first 25 and starts from the 26th)
│
├── hours_old (int):
| filters jobs by the number of hours since the job was posted
| (Glassdoor filters by whole days, so it rounds up to the next day.)
│
├── verbose (int) {0, 1, 2}:
| Controls the verbosity of the runtime printouts
| (0 prints only errors, 1 is errors+warnings, 2 is all logs. Default is 1.)
│
├── fetch_description (bool):
| for boards whose search results don't include the job description: fetches each job's
| page for the description and other details (e.g. job type). Without it these are empty
| for those boards. Adds one request per job, so use proxies for larger searches
│
├── linkedin_fetch_description (bool):
| deprecated, use fetch_description (still works; removed in 2.0)
│
├── linkedin_company_ids (list[int]):
| searches for linkedin jobs with specific company ids
|
├── country_indeed (str):
| filters the country on Indeed & Glassdoor (default is usa; see below for the names)
|
├── enforce_annual_salary (bool):
| converts wages to annual salary
|
├── ca_cert (str)
| path to CA Certificate file for proxies
Страны, в которых можно искать вакансии
LinkedIn выполняет поиск по всему миру и использует только параметр location.
ZipRecruiter
ZipRecruiter ищет вакансии в US/Canada и использует только параметр location.
Indeed / Glassdoor
Indeed и Glassdoor поддерживают большинство стран. Страна задаётся параметром country_indeed (по умолчанию — usa). Чтобы уточнить местоположение, например указать город и штат, при необходимости используйте параметр location.
При поиске на Indeed можно указать следующие страны (точное название; * отмечены страны, которые поддерживает Glassdoor):
| Argentina* | Australia* | Austria* | Bahrain |
| Belgium* | Brazil* | Canada* | Chile |
| China | Colombia | Costa Rica | Czech Republic |
| Denmark | Ecuador | Egypt | Finland |
| France* | Germany* | Greece | Hong Kong* |
| Hungary | India* | Indonesia | Ireland* |
| Israel | Italy* | Japan | Kuwait |
| Luxembourg | Malaysia* | Mexico* | Morocco |
| Netherlands* | New Zealand* | Nigeria | Norway |
| Oman | Pakistan | Panama | Peru |
| Philippines | Poland | Portugal | Qatar |
| Romania | Saudi Arabia | Singapore* | South Africa |
| South Korea | Spain* | Sweden | Switzerland* |
| Taiwan | Thailand | Turkey | Ukraine |
| United Arab Emirates | UK* | USA* | Uruguay |
| Venezuela | Vietnam* |
Bayt
Bayt выполняет поиск во всех странах, если в параметре location не указана страна, в которой он работает, например "Dubai, UAE" или "Saudi Arabia".
BDJobs
BDJobs ищет вакансии в Bangladesh. В параметре location укажите административный округ или район, например "Dhaka" или "Chattogram Division".
Naukri
Naukri ищет вакансии в India. В параметре location укажите город, например "Pune".
HelloWork
HelloWork ищет вакансии во France. В параметре location укажите французский город, почтовый индекс или регион, например "Lyon". Большинство вакансий публикуется на французском, поэтому запросы на французском языке дают больше результатов.
Примечания
-
На данный момент Indeed — самый надёжный источник: он не ограничивает частоту запросов.
-
Параметр
date_postedдля Indeed показывает день публикации вакансии на сайте. По этой же дате работает фильтрhours_old. -
Большинство конечных точек сайтов по поиску работы ограничивают результаты одного поиска примерно 1000 вакансиями.
-
LinkedIn ограничивает слишком частые запросы и возвращает ошибку 429. Ограничение снимается примерно через минуту. Для масштабного поиска используйте прокси.
-
Glassdoor ограничивает частоту запросов, если она превышает примерно два запроса в секунду.
Часто задаваемые вопросы
В: Как отличить заблокированную площадку от площадки, на которой нет вакансий?
О: Ошибки и проигнорированные параметры записываются в журнал по мере возникновения. Те же сообщения доступны в attrs результата, поэтому их можно прочитать в коде:
jobs.attrs["errors"] # {"linkedin": "response status code 429 (blocked: use a proxy)"}
jobs.attrs["warnings"] # {"bdjobs": ["job_type internship isn't supported, ignoring it"]}
В: Почему Indeed показывает вакансии, не связанные с запросом?
О: Indeed учитывает при поиске и текст описания вакансии.
-
Используйте
-, чтобы исключить слова. -
Используйте
""для точного совпадения.
Пример удачного запроса для Indeed:
search_term='"engineering intern" software summer (java OR python OR c++) 2025 -tax -marketing'
Поиск выполняется по описанию и заголовку вакансии. В результатах должны быть слова software, summer и 2025, одно из названий языков программирования, а также точное совпадение с фразой engineering intern. Вакансии со словами tax и marketing исключаются.
В: Почему при использовании «google» нет результатов?
О: Google Jobs в настоящее время недоступен.
В: Почему получен код ответа 429?
О: Площадка заблокировала вас из-за слишком большого количества запросов. Все сайты с вакансиями активно применяют блокировки. Рекомендуем:
-
Делать паузы между сборами данных. Их длительность зависит от сайта.
-
Использовать параметр
proxies, чтобы изменить IP-адрес.
Схема JobPost
JobPost
├── id
├── site
├── job_url
├── job_url_direct
├── title
├── company
├── location
├── date_posted
├── job_type: fulltime, parttime, internship, contract, temporary, ...
├── salary_source: direct_data, description (parsed from posting)
├── interval: yearly, monthly, weekly, daily, hourly
├── min_amount
├── max_amount
├── currency
├── is_remote
├── job_level
├── job_function
├── listing_type
├── emails
├── description
├── company_industry
├── company_url
├── company_logo
├── company_url_direct
├── company_addresses
├── company_num_employees
├── company_revenue
├── company_description
├── skills
├── experience_range
├── company_rating
├── company_reviews_count
├── vacancy_count
└── work_from_home_type
Если площадка с вакансиями не предоставляет данные для столбца, он остается пустым.