Scrapy - Scrapy

Scrapy
Scrapy logo.jpg
Разработчики) Zyte (ранее Scrapinghub)
Первый выпуск 26 июня 2008 г. ( 2008-06-26 )
Стабильный выпуск
2.5.0  Отредактируйте это в Викиданных / 6 апреля 2021 г . ; 6 месяцев назад ( 6 апреля 2021 г. )
Репозиторий
Написано в Python
Операционная система Windows , macOS , Linux
Тип Поисковый робот
Лицензия Лицензия BSD
Веб-сайт scrapy .org Отредактируйте это в Викиданных

Scrapy ( / s к г р / SKRAY -peye ) является свободным и открытым исходным кодом веб-ползать рамки написан на Python. Первоначально разработанный для парсинга веб-страниц, он также может использоваться для извлечения данных с помощью API-интерфейсов или в качестве универсального поискового робота. В настоящее время его обслуживает Zyte, ранее Scrapinghub , компания, занимающаяся разработкой и предоставлением услуг веб- скрейпинга .

Архитектура проекта Scrapy построена на «пауках», которые представляют собой автономные поисковые роботы, которым предоставляется набор инструкций. Следуя духу другого не повторять себе рамки, такие как Django , это делает его легче строить и масштабировать большие Ползучая проекты, позволяя разработчикам повторно использовать свой код. Scrapy также предоставляет оболочку веб-сканирования , которую разработчики могут использовать для проверки своих предположений о поведении сайта.

Некоторые известные компании и продукты, использующие Scrapy: Lyst , Parse.ly , Sayone Technologies , Sciences Po Medialab, сайт Data.gov.uk World Government Data. [1]

История

Scrapy родился в лондонской компании Mydeco, занимающейся агрегацией веб-сайтов и электронной коммерции, где он был разработан и поддержан сотрудниками Mydeco и Insophia (консалтинговой компании, базирующейся в Монтевидео , Уругвай). Первый общедоступный выпуск был выпущен в августе 2008 года под лицензией BSD , а выпуск 1.0 - в июне 2015 года. В 2011 году новым официальным сопровождающим стал Zyte (ранее Scrapinghub).

использованная литература

внешние ссылки