زواحف البحث هي برامج تقوم ببناءها محركات البحث مثل جوجل، تقوم هذه البرامج بزيارة وتتبع الروابط على شبكة الانترنت لبناء فهرس ضخم عن جميع صفحات الإنترنت.
تختلف الزواحف باختلاف طريقة عملها بين محركات البحث، لكن بشكل عام وظيفتها الأساسية هي تزويد محركات البحث بكافة المعلومات التي تحتاجها عن صفحات الويب.
تقوم الزواحف باتباع التعليمات التي يضعها أصحاب المواقع على ملف robots.txt بشكل عام، فيما يتعلق بما يجب ولا يجب على الزواحف أن تقوم بتتبعه في الموقع، لكن هذا لا يمنع أن يعرف الزاحف عن رابط معين (ممنوع باستخدام ملف الروبوتات) عن طريق رابط في موقع آخر يشير إليه.
لإيقاف أرشفة (منع ظهور) صفحة معينة على محركات البحث، يجب استخدام علامة noindex في الصفحة أو إغلاقها بكلمة سر.
اضف تعليقا