TombaPublicWebCrawler
Onze webcrawler indexeert publiekelijk beschikbare zakelijke contactinformatie van websites over het hele internet.
Technische Details
Version: 3.0
Obeys Robots.txt: Yes
User-Agent: Mozilla/5.0 (compatible; TombaPublicWebCrawler/3.0; +https://tomba.io)
Wat is TombaPublicWebCrawler?
TombaPublicWebCrawler is een indexeringsrobot voor onze zoekmachine voor zakelijke contacten. Net zoals Google webpagina's indexeert, scant onze crawler publiekelijk beschikbare online bronnen om professionele contactinformatie te ontdekken.
Onze technologie verwerkt:
- Bedrijfswebsites
- Persberichten
- Elektronische nieuwsdiensten
- Openbare bedrijfsgidsen
- Professionele profielen
Met geavanceerde natuurlijke taalverwerking bouwen we een uitgebreide database van zakelijke professionals en hun contactinformatie.
Wat Doet de Crawler?
De crawler:
- Bezoekt alleen publiekelijk toegankelijke webpagina's
- Haalt zakelijke contactinformatie op
- Indexeert professionele e-mailadressen
- Respecteert alle toegangsbeperkingen
Belangrijk: We analyseren alleen openbare webpagina's. Er wordt geen toegang verkregen tot privé- of geauthenticeerde content.
Robots.txt-naleving
Ja, we respecteren robots.txt strikt.
We respecteren zowel Disallow- als Allow-richtlijnen. Onze crawler leest het robots.txt-bestand voordat hij toegang krijgt tot een pagina op uw website.
De Crawler Beheren
Crawlfrequentie Aanpassen
Om een minimale vertraging tussen verzoeken in te stellen, voegt u toe aan uw robots.txt:
User-agent: TombaPublicWebCrawler
Crawl-Delay: [seconden]
Vervang [seconden] door uw gewenste vertragingstijd.
De Crawler Blokkeren
Om TombaPublicWebCrawler volledig te verhinderen uw site te bezoeken:
User-agent: TombaPublicWebCrawler
Disallow: /
Belangrijke Opmerkingen
- Wijzigingen in robots.txt kunnen tijd nodig hebben om gedetecteerd te worden
- Syntaxisfouten in robots.txt kunnen correcte parsing verhinderen
- De crawler zal het vorige gedrag voortzetten als richtlijnen niet herkenbaar zijn
Meer Informatie
Voor meer informatie over het formaat en gebruik van robots.txt:
Vragen of Zorgen?
Als u denkt dat TombaPublicWebCrawler zich misdraagt op uw website, of als u vragen heeft:
E-mail: support@tomba.io
We nemen alle meldingen serieus en zullen prompt onderzoeken.