Автоматизированный сбор открытых данных с веб-ресурсов, он же парсинг, он же web scraping, он же краулинг... — как его ни назови, имеется в виду один и тот же процесс: бот представляется пользователем-человеком и берет/кладет что-то на веб-сайт, обычно с высокой частотой и с большого количества источников. Рано или поздно это затронет и ваш ресурс: как может выглядеть эта активность и как она влияет на важные метрики?

В своем докладе я хочу разложить по полкам популярные инструменты веб-скрэпинга, проследить их развитие до актуального состояния и объяснить подходы, которые применяются для обнаружения и предотвращения работы этих инструментов. Мы затронем следующие темы:
* Сбор данных с помощью Python: requests, Scrapy. Как стать скрэпером за 2 минуты?
* Эволюция headless browser automation в скрэпинге: PhantomJS, Selenium, Puppeteer, Playwright.
* Использование headful-браузеров, OCR и человеческого труда: есть ли граница между человеком и автоматом?
* Защитные меры: когда есть смысл их применять, как при этом не навредить целевой аудитории.