پرش به مطلب اصلی

بات‌های شناخته شده

موتورهای جست‌وجو و بسیاری از پلتفرم‌های آنلاین، از برنامه‌های خودکار تحت عنوان ربات‌های خزنده (Crawler Bots) یا عنکبوت‌ها (Spiders) برای کاوش و فهرست‌برداری از داده‌های موجود در وب استفاده می‌کنند. آشنایی با این ربات‌ها و آدرس آی‌پی آن‌ها برای وب‌مسترها، توسعه‌دهندگان و متخصصان فناوری اطلاعات اهمیت بالایی دارد و به آنها کمک می‌کند ترافیک مجاز را از غیر مجاز تشخیص دهند و عملکرد وب‌سایت خود را بهبود بخشند.

در این راهنما، فهرستی از ارائه‌دهندگان اصلی مانند گوگل، یاهو، اپل، بینگ، متا و ... به همراه لینک‌هایی از منابع رسمی برای تایید آی‌پی ربات‌ها ذکر شده است. اهمیت منابع ذکر شده، در این است که به تشخیص بات‌ها، شناسایی ترافیک مربوط به بات‌های واقعی و عدم جعل آنها توسط منابع مخرب کمک می‌کند.

به کمک این راهنما می‌توانید از اصالت ربات‌های خزنده که وب‌سایت شما را بررسی می‌کنند مطمئن شوید و ربات‌ها و آی‌پی ‌های غیر مجاز و مهاجم را مسدود کنید. همچنین این راهنما به شما کمک می‌کند که ربات‌های مجاز را به فهرست سفید (Whitelist) اضافه کنید و با دسترسی به جدیدترین آدرس‌های آی‌پی ارائه شده توسط موتورهای جستجو و خدمات آنلاین، سرویس خود را به روز نگه دارید.

منابع دسترسی​

  • گوگل (Google)

    • لینک رسمی:
https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot#automatic

  • بینگ (Bing)

    • لینک رسمی:
https://www.bing.com/toolbox/bingbot.json

  • متا (Meta) / فیسبوک (Facebook)

    • لینک رسمی:
https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/

  • اپل (Apple)

    • لینک رسمی:
https://search.developer.apple.com/applebot.json

  • OpenAI

    • لینک رسمی:
https://platform.openai.com/docs/bots

  • یاهو (Yahoo)

    • لینک غیر رسمی (IP2Location):
https://www.ip2location.com/free/robot-whitelist

  • Internet Archive

    • لینک غیر رسمی (Cloudflare Docs):
https://developers.cloudflare.com/cache/troubleshooting/always-online/

  • یاندکس (Yandex)

    • لینک رسمی (ASN):
https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.html?lang=en
  • لینک غیر رسمی (IP2Location):
https://www.ip2location.com/free/robot-whitelist

در CDN آبالون از لیست IP2Location استفاده می‌شود.

  • بایدو (Baidu)

    • لینک غیر رسمی (IP2Location):
https://www.ip2location.com/free/robot-whitelist

  • Ahrefs

    • لینک رسمی:
https://api.ahrefs.com/v3/public/crawler-ip-ranges

تنظیم لیست سفید در CDN​

برای غیرفعال کردن Whitelist این ربات‌ها در دامنه‌ خود و پیکربندی دلخواه دامنه، تیکت ثبت کنید یا با پشتیبانی تماس بگیرید.