Find Jobs
Hire Freelancers

Scrapy, find and fix a bottleneck: low throughput

€6-12 EUR / hour

Скасований
Опублікований over 4 years ago

€6-12 EUR / hour

READ DESCRIPTION: The scraper is based on Scrapy and it's almost complete, we are scraping products from AMZ (Italy at the moment) but we are struggling with overall requests throughout. We are using backconnect rotating proxies from 2 vendors and we have about 150 threads but we are able to scrape only 1/2 URLs per second, in addition we can use more threads/proxies with TOR but the speed is the same.
ID проекту: 21115494

Про проект

2 пропозицій(-ї)
Дистанційний проект
Активність 5 yrs ago

Хочете заробити?

Переваги подання заявок на Freelancer

Вкажіть свій бюджет та терміни
Отримайте гроші за свою роботу
Опишіть свою пропозицію
Реєстрація та подання заявок у проекти є безкоштовними

Про клієнта

Прапор ITALY
Cagli, Italy
4,9
12
Спосіб оплати верифіковано
На сайті з жовт. 30, 2013

Верифікація клієнта

Дякуємо! Ми надіслали на вашу електронну пошту посилання для отримання безкоштовного кредиту.
Під час надсилання електронного листа сталася помилка. Будь ласка, спробуйте ще раз.
Зареєстрованих користувачів Загальна кількість опублікованих робіт
Freelancer ® is a registered Trademark of Freelancer Technology Pty Limited (ACN 142 189 759)
Copyright © 2024 Freelancer Technology Pty Limited (ACN 142 189 759)
Завантажуємо для перегляду
Дозвіл на визначення геолокації надано.
Ваш сеанс входу закінчився, і сеанс було закрито. Будь ласка, увійдіть знову.