Frequently Asked Question
Crawler nie pobiera wszystkich rekordów jeżeli włączona jest opcja 'Użyj proxy podczas pobierania'. Dlaczego tak sie dzieje?
Last Updated 10 years ago
Użytkownicy zazwyczaj importują do Crawlera darmowe serwery proxy. Mają one to do siebie, że często są niedostępne, wolne i zrywają połączenie. Zdarza się również ze serwer taki potrafi zwrócić pustą stronę WWW.
Przed rozpoczęciem pobierania każdy proxy przechodzi test, który pozwala wyeliminowac niedziałające serwery. Test nie jest jednak idealny. Zdarza się, że serwer proxy przechodzi test, natomiast chwilę poźniej już nie można się z nim połączyć.
W takich sytuacjach Crawler nie jest w stanie pobrać danych ponieważ proxy ich nie przesłał, wiec próbuje pobrać kolejne dane.
Przed rozpoczęciem pobierania każdy proxy przechodzi test, który pozwala wyeliminowac niedziałające serwery. Test nie jest jednak idealny. Zdarza się, że serwer proxy przechodzi test, natomiast chwilę poźniej już nie można się z nim połączyć.
W takich sytuacjach Crawler nie jest w stanie pobrać danych ponieważ proxy ich nie przesłał, wiec próbuje pobrać kolejne dane.