صفحاتی که نمی خواهید ایندکس شوند را مشخص کنید

صفحاتی که نمیخواهید ایندکس شوند را مشخص و معلوم فرمایید
در هر وبساتی صفحاتی و جود دارااست که استفاده کننده ابدا آنان را کاوش نخواهد کرد. از جمله می شود به برگه سبد خرید اشاره نمود. فرض نمایید دیجی جنس سرچ می کردید و پیوند دوم شیت نتیجه ها ، سبد خرید دیجی فرآورده بود. حتما شما تحت عنوان یک استفاده کننده جدید وارد نیازی ندارید وارد این ورقه گردید ، ولی از طرفی وجود این کاغذ الزامی میباشد.

آموزش سئو در مشهد

از Robot.txt برای دوری از کرال استعمال نمائید
برای اینکه این صفحه ها در حاصل کاوش ظواهر نشوند باید از فایلی به اسم robot.txt به کار گیری نمایید. این فولدر درواقع دربردارنده قطعه کد هایی میباشد که گوگل را متوجه می نماید کدام صفحه های نباید به وسیله گوگل کرال شوند.

پوشه Robot.txt را درون دایرکتوری اساسی وب سایت قرار دهید. با این وجود می‌توانید ادرس آموزش سئو مشهد این پوشه را خودتان در نظر گرفتن بزنید. (yordomain/robot.txt)

به تصویر پایین نگاه نمایید. درین تصویر پوشه robot.txt وبسایت دیجی محصول را مشاهده میکنید.



طریق اخلاق کرالر های گوگل در عکس العمل با فولدر robot.txt
در موقعیت کلی ربات های گوگل در بخورد با این فولدر به 3 صورت شغل می نمایند :

وضعیت اولیه : در حالتی‌که این پوشه برای وبسایت وجود نداشته باشد ، گوگل به خزش مجموعاَ وب سایت میپردازد.

وضعیت دوم : در حالتی که ربات گوگل robot.txt را در وب سایت مشاهده نماید ، بر اساس با آن فعالیت خواهد کرد.

موقعیت سوم : چنانچه در هنگام پردازش فولدر robot.txt مشکلی یا این که خطایی صورت دهد ، ربات ها گوگل وبسایت ها خزش نمیکنند.