В этом разделе 3 функции отвечают за проверку статуса индекса и один за фиксацию визитов ботов. В данный момент, все работает по Яндекс. В скором времени методы через XMLstock будут расширены на Google.
Нужно зайти в Я.Вебмастер, раздел Индексирование -> Страницы в поиске. Пролистать вниз, нажать "скачать таблицу", формат CSV. После загрузки данные в базе обновятся.
Я.Вебмастер, раздел Индексирование -> Статистика обхода. Пролистать вниз, нажать "скачать таблицу", формат CSV. После загрузки будут обновлены даты посещения ботом урлов. Обратите внимание, данные перетираются. Т.е. если у вас работают на стороне сайта детекте визитов (если не поняли, о чем речь, то смотрите раздел мануала "Глобальные настройки"), и дата/время с детека более свежая, она будет заменена на дату из выгрузки. В дальнейшем внесем изменения.
Поиск по фразе site:домен, 100 результатов на страницу, постраничный переход пока не кончатся урлы. Метод не является точным для больших сайтов (потому что выдача перемешивается с каждым запросом), но для маленьких, где меньше 100 страниц, самый быстрый и относительно точный.
Поиск по фразе url:адрес, проверяется каждый урл, который не в индексе. Самый точный и актуальный метод, но дорогой. Учитываю, что стоимость 1000 запросов по API 20 рублей, то повторные проверки выливаются в ощутимые суммы.