Scrapy - Scrapy
Разработчики) | Zyte (ранее Scrapinghub) |
---|---|
Первый выпуск | 26 июня 2008 г. |
Стабильный выпуск | |
Репозиторий | |
Написано в | Python |
Операционная система | Windows , macOS , Linux |
Тип | Поисковый робот |
Лицензия | Лицензия BSD |
Веб-сайт |
scrapy |
Scrapy ( / s к г eɪ р aɪ / SKRAY -peye ) является свободным и открытым исходным кодом веб-ползать рамки написан на Python. Первоначально разработанный для парсинга веб-страниц, он также может использоваться для извлечения данных с помощью API-интерфейсов или в качестве универсального поискового робота. В настоящее время его обслуживает Zyte, ранее Scrapinghub , компания, занимающаяся разработкой и предоставлением услуг веб- скрейпинга .
Архитектура проекта Scrapy построена на «пауках», которые представляют собой автономные поисковые роботы, которым предоставляется набор инструкций. Следуя духу другого не повторять себе рамки, такие как Django , это делает его легче строить и масштабировать большие Ползучая проекты, позволяя разработчикам повторно использовать свой код. Scrapy также предоставляет оболочку веб-сканирования , которую разработчики могут использовать для проверки своих предположений о поведении сайта.
Некоторые известные компании и продукты, использующие Scrapy: Lyst , Parse.ly , Sayone Technologies , Sciences Po Medialab, сайт Data.gov.uk World Government Data. [1]
История
Scrapy родился в лондонской компании Mydeco, занимающейся агрегацией веб-сайтов и электронной коммерции, где он был разработан и поддержан сотрудниками Mydeco и Insophia (консалтинговой компании, базирующейся в Монтевидео , Уругвай). Первый общедоступный выпуск был выпущен в августе 2008 года под лицензией BSD , а выпуск 1.0 - в июне 2015 года. В 2011 году новым официальным сопровождающим стал Zyte (ранее Scrapinghub).