توجيه عناكب محركات البحث عبر ملف robots.txt #
يتم وضع ملف robots.txt في الدليل الرئيسي لموقعك (المجلد public_html) لإرشاد عناكب محركات البحث (مثل Googlebot و Bingbot) إلى الصفحات والمجلدات المسموح بفهرستها أو المطلوب حجبها عن نتائج البحث العامة.
خطوات إنشاء الملف وضبطه في cPanel: #
- سجّل الدخول إلى لوحة تحكم cPanel.
- افتح أداة File Manager (إدارة الملفات) وتوجه إلى مجلد الموقع الرئيسي (عادة
public_html). - اضغط على “+ File” في شريط الأدوات العلوي، وسمّ الملف
robots.txt، ثم اضغط Create New File. - اضغط بزر الفأرة الأيمن على الملف واختر Edit.
- أضف القواعد المناسبة لموقعك. نموذج قياسي لمواقع ووردبريس:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml - اضغط على “Save Changes” للحفظ. يمكنك التأكد من عمله بزيارة الرابط:
https://example.com/robots.txtفي متصفحك.
