Используйте прокси

Проскользнула такая информация - ПС ( в том числе яндекс) стал учитывать с какого IP была запрошена информация о том или ином сайте. Представьте - если у вас целая сетка сайтов и вы их сканируете с 1 IP адреса.

Поэтому используйте прокси, что бы избежать бана сетки. Рекомендую использовать прокси с разными IP - например я использую TOR сети. Посмотреть, что это такое можно тут