Извлекает структуру данных из вебстраниц в отчеты формата XML, CSV и т.д. Проводит анализ ключевых слов и проверяет положение сайта в поисковых машинах. Поисковый паук (собственный) может сохранять статистику в отчетах с большим количеством параметров, включая правильные и битые ссылки (сколько раз, куда и откуда), время отклика, время загрузки, размеры файла, ответы головного сервера, рапорты обо о всех типах файлов и директориях, кодах ответов и т.д. Программа также расчитывает важность страниц относительно всего сайта. Это позволяет видеть структуру распределения "силы ранжирования" всего сайта в целом.
|