TombaPublicWebCrawler
يقوم زاحف الويب الخاص بنا بفهرسة معلومات الاتصال التجارية المتاحة للعامة من المواقع عبر الإنترنت.
التفاصيل التقنية
Version: 3.0
Obeys Robots.txt: Yes
User-Agent: Mozilla/5.0 (compatible; TombaPublicWebCrawler/3.0; +https://tomba.io)
ما هو TombaPublicWebCrawler؟
TombaPublicWebCrawler هو روبوت فهرسة لمحرك البحث عن جهات الاتصال التجارية الخاص بنا. على غرار كيفية فهرسة Google لصفحات الويب، يقوم الزاحف الخاص بنا بمسح المصادر المتاحة للعامة عبر الإنترنت لاكتشاف معلومات الاتصال المهنية.
تعالج تقنيتنا:
- مواقع الشركات
- البيانات الصحفية
- خدمات الأخبار الإلكترونية
- الدلائل التجارية العامة
- الملفات الشخصية المهنية
باستخدام معالجة اللغة الطبيعية المتقدمة، نبني قاعدة بيانات شاملة لمحترفي الأعمال ومعلومات الاتصال الخاصة بهم.
ماذا يفعل الزاحف؟
الزاحف:
- يزور فقط صفحات الويب المتاحة للعامة
- يستخرج معلومات الاتصال التجارية
- يفهرس عناوين البريد الإلكتروني المهنية
- يحترم جميع قيود الوصول
مهم: نحن نحلل فقط صفحات الويب العامة. لا يتم الوصول إلى أي محتوى خاص أو محمي بكلمة مرور.
الامتثال لـ Robots.txt
نعم، نحترم robots.txt بشكل صارم.
نحترم توجيهات Disallow و Allow. يقرأ الزاحف الخاص بنا ملف robots.txt قبل الوصول إلى أي صفحة على موقعك.
التحكم في الزاحف
ضبط تردد الزحف
لتعيين تأخير أدنى بين الطلبات، أضف إلى robots.txt الخاص بك:
User-agent: TombaPublicWebCrawler
Crawl-Delay: [ثواني]
استبدل [ثواني] بوقت التأخير المفضل لديك.
حظر الزاحف
لمنع TombaPublicWebCrawler من زيارة موقعك بالكامل:
User-agent: TombaPublicWebCrawler
Disallow: /
ملاحظات مهمة
- قد تستغرق التغييرات على robots.txt وقتاً ليتم اكتشافها
- أخطاء الصياغة في robots.txt قد تمنع التحليل الصحيح
- سيستمر الزاحف في السلوك السابق إذا كانت التوجيهات غير قابلة للتعرف
معرفة المزيد
لمزيد من المعلومات حول تنسيق واستخدام robots.txt:
أسئلة أو مخاوف؟
إذا كنت تعتقد أن TombaPublicWebCrawler يسيء التصرف على موقعك، أو إذا كانت لديك أسئلة:
البريد الإلكتروني: support@tomba.io
نأخذ جميع التقارير على محمل الجد وسنحقق فيها على الفور.