Веб-Краулер TombaPublicWebCrawler 
TombaPublicWebCrawler
Наш веб-краулер индексирует публично доступную деловую контактную информацию с веб-сайтов по всему Интернету.
Технические Детали
Version: 3.0
Obeys Robots.txt: Yes
User-Agent: Mozilla/5.0 (compatible; TombaPublicWebCrawler/3.0; +https://tomba.io)
Что такое TombaPublicWebCrawler?
TombaPublicWebCrawler это веб-краулер для нашей поисковой системы деловых контактов. Подобно тому, как Google индексирует веб-страницы, наш краулер сканирует публично доступные онлайн-источники для обнаружения профессиональной контактной информации.
Наша технология обрабатывает:
- Корпоративные веб-сайты
- Пресс-релизы
- Электронные новостные рассылки
- Публичные бизнес-каталоги
- Профессиональные профили
Используя продвинутую обработку естественного языка, мы создаём комплексную базу данных бизнес-профессионалов и их контактной информации.
Что Делает Краулер?
Краулер:
- Посещает только публично доступные веб-сайты
- Извлекает деловую контактную информацию
- Индексирует профессиональные адреса электронной почты
- Соблюдает все ограничения доступа
Важно: Мы анализируем только публичные веб-сайты. Доступ к частному или защищённому авторизацией контенту невозможен.
Соблюдение Robots.txt
Да, мы строго соблюдаем robots.txt.
Мы учитываем директивы Disallow и Allow. Наш краулер читает файл robots.txt перед доступом к любой странице вашего сайта.
Управление Краулером
Настройка Частоты Сканирования
Чтобы установить минимальную задержку между запросами, добавьте в ваш robots.txt:
User-agent: TombaPublicWebCrawler
Crawl-Delay: [секунды]
Замените [секунды] на предпочтительное время задержки.
Блокировка Краулера
Чтобы полностью запретить TombaPublicWebCrawler посещать ваш сайт:
User-agent: TombaPublicWebCrawler
Disallow: /
Важные Замечания
- Изменения в robots.txt могут потребовать времени для обнаружения
- Синтаксические ошибки в robots.txt могут помешать правильному парсингу
- Краулер продолжит предыдущее поведение, если директивы не распознаны
Узнать Больше
Для получения дополнительной информации о формате и использовании robots.txt:
Вопросы или Проблемы?
Если вы считаете, что TombaPublicWebCrawler ведёт себя некорректно на вашем сайте, или у вас есть вопросы:
Электронная почта: support@tomba.io
Мы серьёзно относимся ко всем обращениям и оперативно их расследуем.
Политика Качества
Политика качества Tomba описывает наше обязательство предоставлять высококачественные услуги по поиску электронной почты и постоянному совершенствованию.
Политика безопасности
Узнайте, как Tomba защищает ваши данные с помощью мер безопасности корпоративного уровня, шифрования и стандартов соответствия.