نحوه تست فایل robots.txt

کلاً یک وبسایت بوسیله ربات های خزنده مورد بازرسی قرار می گیرد؛ این ربات ها روز آپ تو دیت هوشمند تر شده و مطابق الگوریتم های نو، بروز میشوند. این امکان برای شما آماده می باشد که ربات های خزنده را در دست گرفتن کرده و دسترسی آن‌ها را محدود فرمایید. یکی از شیوه های محدود کردن دسترسی ربات های گوگل، بازنویسی پوشه Robots.txt است. اما فولدر Robots.txt چیست؟ این فولدر چه کاربردی دارااست؟ در‌پی به صورت بی نقص در این زمینه سخن کرده ایم و یادگرفتن تشکیل داد پوشه robots txt در وردپرس را نیز قرار داده ایم. آموزش سئو مشهد
فایل Robots.txt چیست؟
موتورهای جستجو به کمک ربات های خزنده خود می توانند تارنما های متعدد را تحقیق کنند؛ البته این قابلیت و امکان برای شما وجود دارااست که جهت جنبش یا به عبارتی مسیر جنبش ربات های خزنده را مشخص و معلوم فرمائید. این عمل به امداد پوشه ربات امکان پذیر است. پوشه Robots.txt، در واقع یک پوشه متنی بی آلایش است که در مسیر اساسی آموزش سئو در مشهد وب سایت یا روت دایرکتوری ( Root Directory ) قرار می‌گیرد.
این پوشه بخش های قابل دسترسی یا محدوده شده برای ربات ها را تمجید می کند. به کمک اطلاعاتی که در این فولدر قرار می دهید، می توانید به ربات های خزنده بگویید که کدام یک از صفحات سایت را دیده و ایندکس کنند و کدامیک را نادیده بگیرند. می توان اینطور گفت که اولین چیزی که ربات های خزنده در وبسایت شما مشاهده می کنند، همین پوشه میباشد. شما میتوانید اطلاعات این فایل را با جستجو آدرس ذیل مشاهده کنید:
تشکیل داد فولدر robots.txt
پیش از آنکه برای تشکیل داد فولدر robots.txt اقدام نمائید، اطمینان حاصل نمایید که چنین فایلی وجود ندارد؛ برای این کار کافیست آدرس www.YourWebsite.com/robots.txt را سرچ نمائید. در حالتی که با صفحه 404 مواجه شدید، یعنی این فایل وجود ندارد.
اما در شرایطی که با برگه ای مشتمل بر کدهای User-agent و … روبرو شدید، باید برای مدیریت پوشه به در اختیار گرفتن پنل هاست سایتتان رجوع‌کنید. برای ویرایش فولدر robots.txt، آن را در یک ویرایشگر متنی ساده باز کرده و تغییرات لازم را اعمال نمایید. سپس آن را ذخیره کرده و جایگزین فولدر قبل فرمایید.
ولی اگر چنین فایلی در هاست سایتتان خلا، از طریق اپلیکیشن Notepad ویندوز یک پوشه متنی بسازید و با نام robots آن را ذخیره کنید؛ آنگاه دستورها گزینه نظرتان را در آن درج کرده و بعداز انبارکردن، آن را در روت مهم وبسایت آپلود نمائید.
نکته بسیار مهمی که می بایست به آن دقت فرمائید، این میباشد که فایل robots.txt به حروف والا و کوچک حساس میباشد. برای مثال اگر بخواهید برای فایلی با نام File.php محدودیتی تشکیل داد کنید و به خطا در فایل robots.txt، نام آن را file.php بنویسید، هیچ محدودیتی برای آن اعمال نکرده اید.
طریق تست فایل robots.txt
در شرایطی‌که بخواهید از روش ساده به کار گیری فرمایید، بایستی فولدر robots.txt را باز کرده و دستورات درون آن را رسیدگی فرمائید. البته روش حرفه ای تری نیز وجود دارد که شما میتوانید به کمک ابزار تست فایل robots.txt در کنسول گوگل آن را تست فرمائید.
برای استفاده از این ابزار روند تحت را طی فرمائید:
شروع وارد وب سایت Google Search Console شوید
روی بخش robots.txt Tester کلیک نمایید
مورد Test را تعیین فرمایید
اگرکه مشکلی در فولدر robots.txt وجود نداشته باشد، دکمه قرمز‌رنگ تست، به رنگ سبز و Allowed تغییر می کند. البته در صورتی مشکلی باشد، فرمان نقص‌ دار هایلایت و معین می شود. خلال این، این ابزار امکانات دیگری را نیز در چنگ شما قرار می دهد؛ مثلا میتوانید از طریق نصیب URL Tester، آدرس صفحات گوناگون سایت را استیناف نمائید تا متوجه شوید که برای ربات ها مسدود شده اند یا خیر.
همچنین به یاری این ابزار می‌توانید محتویات پوشه robots.txt را تغییر تحول بدهید. البته برای اعمال تغییرات در سایتتان، باید محتوای بازنویسی شده را جایگزین محتوای قبلی در فایل robots.txt در هاست خود نمائید. برای این عمل کافیست بعداز بازنویسی متن، روی دکمه Submit کلیک کنید تا به بخش آینده بروید. در قسمت بعدی شما می توانید پوشه robots.txt را دانلود فرمائید، بعد فولدر تازه را جایگزین پوشه گذشته نمائید. در نهایت بدین برگه برگشته و دکمه Submit را بزنید.
فراگیری تشکیل داد فایل robots txt در وردپرس
مواردی که در ابتدا برای ایجاد کرد فولدر robots txt گفته شد، برای وردپرس نیز قابل انجام میباشد. اما نکاتی را می بایست در این مورد رعایت نمائید:

نکته نخستین

در سال های قبل برای مسدود سازی دسترسی ربات ها به پنل مدیر وبسایت وردپرس، باید از طریق پنل مدیریتی وردپرس، اقدام می کردیم. اما در سال 2012 با بروزرسانی وردپرس، دیگر این فعالیت ضرورتی نداشت؛ به دلیل آن که وردپرس به صورت پیشفرض قابلیتی را به تگ هدر فولدر اضافه کرده که تگ noindex و مسدود سازی یا disallow در آن گنجانده گردیده‌است. در منفعت کاغذ پنل مدیر تارنما وردپرس سوای هیچ اقدام خاصی از لیست ایندکس موتورهای جستجو خارج گردیده است.



نکته دوم

در وردپرس به صورت پیشفرض فایل robots.txt با نام فایل مجازی robots.txt یا Virtual robots.txt خاطر میشود. یعنی شما نمی توانید به صورت بدون واسطه به این فولدر دسترسی داشته و آن را ویرایش فرمائید. شما میتوانید صرفا از طریق باز کردن آدرس http://www.example.com/robots.txt در مرورگر به این فولدر دسترسی داشته باشید.

آیین نامه پیش خیالی که در فولدر robots.txt قراردارد، به صورت زیر می‌باشد:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

طبق این فرمان، ربات ها اجازه دسترسی به ورقه admin-ajax.php را دارند؛ اگر میخواهید دسترسی به این صفحه را غیر فعال نمایید، بایستی به تنظیمات وردپرس رفته و آیتم Search Engine Visibility را فعال نمایید.



تشکیل داد robots.txt وردپرس
برای تشکیل داد فولدر robots.txt در وردپرس استارت وارد هاست سایتتان بشوید؛ بعداز آنجا روی مورد File Manager کلیک نمایید تا بتوانید پوشه ها متفاوت جانور در سایتتان را ملاحظه کنید.



پس از ورود بدین گزینه، مسیر /public_html/ را انتخاب فرمائید. موقتا فایلی که با نرم افزار notepad یا هر نرم افزار ویرایشگر متن دیگری که ساخته اید را با نام robots.txt ذخیره و روی هاست آپلود فرمایید. برای این عمل کافیست مورد Upload را تعیین و پوشه را به هاست خود اضافه کنید.

خلال این شما می توانید با کلیک روی گزینه \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\" FILE+ \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\" طبق تصویر تحت، در فیلد New File Name، فایلی را با نام robots.txt وارد کرده و در نهایت Create New File کلیک نمائید تا فایل شما ساخته شود.



در حال حاضر به امداد امرها پایین میتوانید پوشه robots.txt را کنترل فرمائید؛ پیش از آن بایستی بدانید که فولدر robots.txt از دو امر و قانون تقلید می کند. این قانون ها به شرح زیر خواهد بود:

User-agent: به کمک این امر می توانید مشخص نمائید که چه نوع رباتی به دایرکتوری های هاست شما دسترسی خواهد داشت.
Disallow: این امر مشخص می کند که ربات ها اجازه ورود به چه مسیرهایی را در هاست ندارند.
مثلا در شرایطی که در هاست خود پوشه ای با نام \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\"new folder \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\" دارید و می‌خواهید که ربات ها به آن دسترسی نداشته باشند، می بایست قطعه کد زیر را در فولدر robots.txt خود قرار بدهید:

User-agent: *

Disallow: /new folder/

اوامر گزینش سطح دسترسی پوشه robots.txt در وردپرس
کلاً گوگل ربات های مختلفی را طراحی کرده است که هر یک وظیفه استیناف مورد خاصی را در سایت ها دارند. به عنوان مثال ربات Googlebot وظیفه ایندکس صفحه ها را دارد یا ربات Googlebot-image، برای پژوهش تصاویر یک وبسایت طراحی گردیده است. شما میتوانید دسترسی همگی این ربات ها را به امداد امرها پایین محدود نمایید:

محدود کردن دسترسی به یک تصویر:

user-agent: Googlebot-image

disallow: /photo/

غیر فعال کردن دسترسی به مجموع سایت:

Disallow: /



غیر فعال کردن دسترسی به یک فایل خاص:

Disallow: /name-folder/

Disallow: /name-folder/file/

محدود کردن به دسترسی به یک فایل:

Disallow: /name-folder/name-file.format (pdf,jpg,...)

محدود کردن پوشه‌هایی به فرمت خاص:

Disallow: /*.gif$

Disallow: /*.pdf$

Disallow: /*.docs$

دسترسی نقشه تارنما در پوشه robots.txt:

به صورت کلی شما می‌توانید به دو نحوه نقشه سایتتان را به گوگل معرفی فرمایید؛ برای این فعالیت میتوانید از سرچ کنسول یا فایل robots.txt به کار گیری نمایید. البته پیش از آن خوب میباشد با مطالعه نوشته ی علمی \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\" طراحی وب سایت مپ \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\" نقشه سایتتان را بسازید. بعد خوب میباشد از طریق سرچ کنسول نقشه سایتتان را به گوگل معرفی نمایید؛ برای این کار بایستی سایتتان را در سرچ کنسول ثبت کرده باشید. در مقاله \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\" ثبت تارنما در سرچ کنسول \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\" به شما یادگرفتن های مایحتاج را داده ایم.

اما در صورتیکه می‌خواهید از طریق فولدر robots.txt این عمل را جاری ساختن بدهید، باید قطعه کد ذیل را به پوشه خود اضافه فرمایید:

Sitemap:https://example.com/sitemap.xml

طریق بازنویسی پوشه robots.txt در وردپرس
با دقت به آنچه گفته شد، امکان بازنویسی بدون واسطه فولدر robots.txt در وردپرس وجود ندارد. به همین عامل می بایست برای بازنویسی آن، یک فایل تازه را ساخت کرده و در هاست مجدد بارگذاری کنید. زمانی که فولدر نو robots.txt ساخته می‌شود، فولدر مجازی به صورت خودکار غیر فعال میگردد.



ضرورت داشتن پوشه robots.txt چیست؟


در‌حالتی که که این پوشه در هاست سایتتان آپلود نشده باشد، خزندگان و ربات های موتورهای جستجو میتوانند به آحاد صفحات وب سایت شما دسترسی پیدا کرده و آنان را مورد پژوهش قرار دهند.

در حالتی که پوشه robots.txt به درستی در وب سایت آپلود نشود، چه میگردد؟

در‌حالتی که این پوشه به صحت تنظیم نشده باشد یا به صورت بدون نقص در هاست آپلود نشده باشد، ربات های خزنده مانند گذشته همه صفحات وب سایت را ایندکس می کنند. در واقع ربات ها دستوراتی را جاری ساختن می کنند که به صورت دقیق و منطبق با رفتار آنها تعریف شده باشد. در غیر اینصورت وظیفه طبیعی و اساسی خود را جاری ساختن میدهند.



دلایل اساسی استعمال از پوشه robots.txt
1. پیشرفت در عملکرد بهینه سازی وبسایت
وبسایت های والا و پربیننده، روزانه هزاران بار بوسیله ربات های متعدد گزینه پژوهش قرار می گیرند. این ربات ها در طی دو مرحله یعنی مطالعه و ایندکس، وب سایت را استیناف می کنند. حال فرض فرمایید روزانه بیشتراز صدها ربات یک سایت را مطالعه کنند؛ این حادثه منجر کند شدن سرعت بارگذاری سایت گردد. به این دلیل که تک تک بخش های تارنما و هاست، ذیل تاثیر هزارن ربات قرار گرفته میباشد.

لازم به ذکر است که این مورد برای سایت های معدود بازدید، تاثیر کمتری دارد. اما به هر جهت تارنما هایی که می بایست روزانه ترافیک زیادی را هندل کنند، با اضافه شدن حجم زیادی از ربات ها نیز، مبتلا نقص‌ خواهند شد. به همین جهت میباشد که سئوکاران برای بهبود سرعت تارنما، دسترسی ربات ها را محدود می کنند. در واقع با این فعالیت اجازه تفحص بعضی از بخش های تارنما که از دید بهینه سازی اهمیت کمتری دارند را به ربات ها نمی دهند.



2. مدیریت دسترسی موتورهای جستجو
از همه گیرترین دلایل به کار گیری از فایل robots.txt، محدود کردن دسترسی ربات های خزنده به بخش های گوناگون یک سایت میباشد. حتما این سوال برایتان پیش خواهد آمد که چرا برخی از صفحه های نباید ایندکس شوند؟ ایندکس شدن بعضا از صفحه های سایت میتواند نتیجه ها نامطلوبی را برای شما داشته باشد.

مثلا فرض نمایید شما به مناسبت های متعدد، جشنواره ای را در وب سایت خود برگزار می کنید و برای این جشنواره ها صفحاتی را تشکیل داد میکنید. ضرورتی ندارد که ربات های خزنده این صفحه ها را ایندکس کنند؛ به این دلیل‌که بعد از مدتی غیر فعال شده و از طرفی بار محتوایی زیادی نیز ندارند. به همین عامل در فولدر robots.txt، ذکر میکنیم که این صفحه های ایندکس نشوند.

به این دلیل که در صورت ایندکس شدن، ممکن میباشد به عنوان صفحات زامبی یا بی ارزش شناخته شوند. لازم به ذکر می باشد که ایندکس نشدن یک برگه از سایت، به معنای دیده نشدن آن ورقه توسط مخاطب نیست. فقط در نتایج آورده نشده و به وسیله ربات ها تحقیق نمیشود.



3. رئیس لینک و پیوند های تارنما
یک کدام از تکنیک های seo کلاه سیاه، تکنیک URL Cloacking میباشد؛ در واقع در این تکنیک شما آدرس یک کاغذ را از نظر موتورهای جستجو پنهان می کنید. یکی از دلایل استعمال از فایل robots.txt، رئیس همین صفحه ها هست. با این تکنیک شما میتوانید آدرس صفحه های را از لحاظ مخاطب و موتور جستجو نهفته نگه دارید.

بیشترین کاربرد URL Cloacking، در سیستم همکاری در فروش یا Affiliate Marketing مشاهده میشود. با این فعالیت شما میتوانید پیوند های ایجاد کرد شده در Affiliate را مدیریت کرده و آدرس آنها‌را نهفته نمائید. در نهایت کاربر ناچار می‌گردد روی آنها کلیک کند.



در نقطه پایان

در این محتوا به شما گفتیم که فایل Robots.txt چیست و چه کاربردی داراست؟ همانگونه که گفتیم به امداد پوشه Robots.txt میتوانید ربات های خزنده گوگل را تا حدی کنترل کرده و از ایندکس شدن و پژوهش صفحه های بی ارزش نیز هجران نمائید. با این عمل می توانید بودجه خزش سایتتان را صرف صفحه های باارزش تر فرمایید و در فایده بهینه سازی تکنیکال سایتتان را ارتقاء دهید.