TombaPublicWebCrawler
Unser Web-Crawler indiziert öffentlich verfügbare Geschäftskontaktinformationen von Websites im gesamten Internet.
Technische Details
Version: 3.0
Befolgt Robots.txt: Ja
User-Agent: Mozilla/5.0 (compatible; TombaPublicWebCrawler/3.0; +https://tomba.io)
Was ist TombaPublicWebCrawler?
TombaPublicWebCrawler ist ein Indexierungsroboter für unsere Geschäftskontakt-Suchmaschine. Ähnlich wie Google Webseiten indiziert, durchsucht unser Crawler öffentlich verfügbare Online-Quellen, um professionelle Kontaktinformationen zu entdecken.
Unsere Technologie verarbeitet:
- Unternehmenswebsites
- Pressemitteilungen
- Elektronische Nachrichtendienste
- Öffentliche Geschäftsverzeichnisse
- Professionelle Profile
Mit fortschrittlicher natürlicher Sprachverarbeitung bauen wir eine umfassende Datenbank von Geschäftsleuten und deren Kontaktinformationen auf.
Was macht der Crawler?
Der Crawler:
- Besucht nur öffentlich zugängliche Webseiten
- Extrahiert Geschäftskontaktinformationen
- Indiziert professionelle E-Mail-Adressen
- Respektiert alle Zugriffsbeschränkungen
Wichtig: Wir analysieren nur öffentliche Webseiten. Auf private oder authentifizierte Inhalte wird nicht zugegriffen.
Robots.txt-Konformität
Ja, wir respektieren robots.txt strikt.
Wir befolgen sowohl Disallow- als auch Allow-Direktiven. Unser Crawler liest die robots.txt-Datei, bevor er auf eine Seite Ihrer Website zugreift.
Den Crawler kontrollieren
Crawl-Frequenz anpassen
Um eine Mindestverzögerung zwischen Anfragen festzulegen, fügen Sie zu Ihrer robots.txt hinzu:
User-agent: TombaPublicWebCrawler
Crawl-Delay: [Sekunden]
Ersetzen Sie [Sekunden] durch Ihre bevorzugte Verzögerungszeit.
Den Crawler blockieren
Um TombaPublicWebCrawler vollständig am Besuch Ihrer Website zu hindern:
User-agent: TombaPublicWebCrawler
Disallow: /
Wichtige Hinweise
- Änderungen an robots.txt können Zeit benötigen, um erkannt zu werden
- Syntaxfehler in robots.txt können das korrekte Parsen verhindern
- Der Crawler wird das vorherige Verhalten fortsetzen, wenn Direktiven nicht erkennbar sind
Mehr erfahren
Für weitere Informationen zum Format und zur Verwendung von robots.txt:
Fragen oder Bedenken?
Wenn Sie glauben, dass sich TombaPublicWebCrawler auf Ihrer Website falsch verhält, oder wenn Sie Fragen haben:
E-Mail: support@tomba.io
Wir nehmen alle Meldungen ernst und werden sie umgehend untersuchen.
Qualitätsrichtlinie
Die Qualitätsrichtlinie von Tomba beschreibt unser Engagement für die Bereitstellung hochwertiger E-Mail-Finder-Dienste und kontinuierliche Verbesserung.
Sicherheitsrichtlinie
Entdecken Sie, wie Tomba Ihre Daten mit Enterprise-Grade Sicherheitsmaßnahmen, Verschlüsselung und Compliance-Standards schützt.