Многие SEO-специалисты практически ежедневно проводят технические аудиты сайтов используя тот или иной софт для краулинга. В 90% случаев это всем известные Screaming Frog SEO Spider либо Netpeak Spider. Обе программы платные, а их стоимость начинается от £149 и $182 в год соответственно (500 бесплатных страниц, доступных в Screaming Frog в учет не берем, так как это не серьезно для более-менее крупных проектов). Согласитесь – не каждый фрилансер-сеошник может позволить себе потратить более 10 000 рублей на приобретение подобного софта.

Без сомнений, обе программы достойные, но хотелось бы дешевле, и намного дешевле. А лучше бесплатно )

Конечно, помимо Screaming Frog и Netpeak Spider существует множество других платных и бесплатных аналогичных программ для краулинга сайтов, однако, большинство из них либо имеет более слабый функционал, либо их поддержка и развитие прекращены по неизвестным нам причинам.

Полная статья: https://habr.com/ru/articles/498394/