Find Jobs
Hire Freelancers

Update python crawler

$30-70 USD

Скасований
Опублікований over 11 years ago

$30-70 USD

Оплачується при отриманні
An existing recursive python crawler using beautiful soup and sqlite needs the following fixed: 1) The crawler is quite brutal during parsing and recursive threads are sometimes grabbing the same links. This needs to be fixed so, each running thread grabs a diffrent link, not the same one. The crawler needs to be made less "brutal". This also needs to be tested on a limited site-only crawl and on open internet-wide crawl and see if both work correctly. 2) Add proxy capability, so that crawling and parsing is done through rotating proxies. The pool of future proxies needs to be defined as an array, so the proxy lists can be changed at any time in only one spot and the crawler would still work correctly, as before the proxy change. **IMPORTANT:** Please quote the full name of the inventor of Python for your bid to be considered. The employer will not act as a unpaid tester for the worker. Testing to 100% up-to-spec is a requirement of this project. Employer will test the final deliverables once the worker is 100% confident the deliverables work up-to-spec. The 3 days deadline WILL be increased on the request of the worker IF there is sufficient progress observed during the first 3 days (and each successive deadline extension) of the project.
ID проекту: 2775543

Про проект

1 пропозиця
Дистанційний проект
Активність 12 yrs ago

Хочете заробити?

Переваги подання заявок на Freelancer

Вкажіть свій бюджет та терміни
Отримайте гроші за свою роботу
Опишіть свою пропозицію
Реєстрація та подання заявок у проекти є безкоштовними
1 фрілансер готовий виконати цю роботу за $60 USD
Аватарка користувача
See private message.
$59,50 USD за 3 дні(-в)
4,8 (10 відгуки(-ів))
4,6
4,6

Про клієнта

Прапор GUADELOUPE
Key Farto, Guadeloupe
4,7
32
На сайті з лип. 19, 2005

Верифікація клієнта

Дякуємо! Ми надіслали на вашу електронну пошту посилання для отримання безкоштовного кредиту.
Під час надсилання електронного листа сталася помилка. Будь ласка, спробуйте ще раз.
Зареєстрованих користувачів Загальна кількість опублікованих робіт
Freelancer ® is a registered Trademark of Freelancer Technology Pty Limited (ACN 142 189 759)
Copyright © 2024 Freelancer Technology Pty Limited (ACN 142 189 759)
Завантажуємо для перегляду
Дозвіл на визначення геолокації надано.
Ваш сеанс входу закінчився, і сеанс було закрито. Будь ласка, увійдіть знову.