TombaPublicWebCrawler
当社のウェブクローラーは、インターネット全体のウェブサイトから公開されているビジネス連絡先情報をインデックスします。
技術詳細
robots.textile
Version: 3.0
Obeys Robots.txt: Yes
User-Agent: Mozilla/5.0 (compatible; TombaPublicWebCrawler/3.0; +https://tomba.io)
TombaPublicWebCrawlerとは？
TombaPublicWebCrawlerは、ビジネス連絡先検索エンジン用のインデックスロボットです。Googleがウェブページをインデックスするのと同様に、当社のクローラーは公開されているオンラインソースをスキャンして、プロフェッショナルな連絡先情報を発見します。
当社の技術は以下を処理します：
- 企業ウェブサイト
- プレスリリース
- 電子ニュースサービス
- 公開ビジネスディレクトリ
- プロフェッショナルプロフィール
高度な自然言語処理を使用して、ビジネスプロフェッショナルとその連絡先情報の包括的なデータベースを構築しています。
クローラーは何をしますか？
クローラーは：
- 公開アクセス可能なウェブページのみを訪問
- ビジネス連絡先情報を抽出
- プロフェッショナルなメールアドレスをインデックス
- すべてのアクセス制限を尊重
重要： 公開ウェブページのみを分析します。プライベートまたは認証されたコンテンツにはアクセスしません。
Robots.txt準拠
はい、robots.txtを厳格に尊重します。
DisallowとAllowの両方のディレクティブを尊重します。クローラーは、お客様のウェブサイトのページにアクセスする前にrobots.txtファイルを読み取ります。
クローラーの制御
クロール頻度の調整
リクエスト間の最小遅延を設定するには、robots.txtに以下を追加してください：
robots.textile
User-agent: TombaPublicWebCrawler
Crawl-Delay: [秒数]
[秒数]をお好みの遅延時間に置き換えてください。
クローラーのブロック
TombaPublicWebCrawlerがサイトを完全に訪問しないようにするには：
robots.textile
User-agent: TombaPublicWebCrawler
Disallow: /
重要な注意事項
- robots.txtの変更が検出されるまでに時間がかかる場合があります
- robots.txtの構文エラーにより、正しい解析ができない場合があります
- ディレクティブが認識できない場合、クローラーは以前の動作を続行します
詳細情報
robots.txtの形式と使用法の詳細については：
ご質問やご懸念は？
TombaPublicWebCrawlerがお客様のウェブサイトで不適切に動作していると思われる場合、またはご質問がある場合：
メール： support@tomba.io
すべての報告を真摯に受け止め、迅速に調査いたします。