فایل Robots.txt چیست و چه کاربردی در سئوی سایت دارد؟
فایل robots.txt چیست؟
فایل robots.txt وظیفه محدود کردن دسترسی ربات های گوگل و سایر موتورهای جستجو به محتوای یک سایت را به عهده دارد. در حقیقت، فایل robots.txt یک فایل متنی است که به موتورهای جستجو می گوید کدام صفحات وب را خزش و ایندکس کند و چه صفحاتی را خزش و ایندکس نکند. خزیدن ربات ها به معنای بررسی محتوای صفحات وب است و ایندکس کردن صفحات به معنی ذخیره سازی یک نسخه از محتوای صفحات در بایگانی گوگل است. موتورهای جستجو در میان صفحات یک سایت خزش (Crawl) می کنند و آن ها را ایندکس (Index) می کنند. ربات های جستجوگر قبل از خزش یک صفحه از سایت، ابتدا فایل robots.txt را می خوانند و بر اساس دستورالعمل های این فایل، اجازه خزیدن یا ایندکس صفحات را پیدا می کنند. باید دقت کرد که چه صفحاتی برای خزش یا ایندکس موتورهای جستجو محدود می شود. صفحاتی مانند لندینگ پیج ها نباید به اشتباه برای موتورهای جستجو مسدود شوند.
اگر سایت شما فایل robots.txt را نداشته باشد چه اتفاقی میافتد؟
اگر این فایل در هاست سایت شما آپلود نشده باشد، خزندگان و رباتهای موتورهای جستجو امکان دسترسی به تمام صفحات عمومی را خواهند داشت و قادر هستند تا تمام محتوای سایت شما را ایندکس کنند.
اگر فایل robots.txt به درستی تهیه و آپلود نشود چه میشود؟
نتیجه این مورد بستگی به نوع مشکل خواهد داشت. اگر فایل مذکور با فرمت استاندارد و صحیح ایجاد نشده باشد و یا اطلاعات و دستورات داخل آن قادر به شناسایی نباشند، رباتهای موتورهای جستجو همچنان به دسترسی به اطلاعات سایت شما ادامه داده و میتوانند آنها را ایندکس کنند. به عبارت دیگر، رباتها فقط زمانی تغییر رفتار میدهند که دستور دقیق و منطبق با آن رفتار را از طریق متون داخل این فایل دریافت کرده باشند. در غیر این صورت آنها به رفتار طبیعی خود یعنی بررسی و ایندکس کردن تمام بخشهای سایت ادامه خواهند داد.
برخی از مهمترین دلایل استفاده از robots.txt
۱- با کمک این فایل میتوان دسترسی موتورهای جستجو را مدیریت کرد
محدود کردن دسترسی خزندگان موتورهای جستجو به صفحات، فایلها و محتوای انتخابی سایتها رایجترین دلیل استفاده از فایل robots.txt است.
اگر برای شما این سؤال پیش آمده است که چرا باید بعضی از صفحات یا فایلها را ایندکس نکنیم، در جواب باید گفت که در بسیاری از موارد، ایندکس شدن و معرفی شدن یک صفحه یا فایل از یک سایت در موتورهای جستجو میتواند نتایج نامناسبی به همراه داشته باشد.
به عنوان مثال شاید یک وبمستر قصد انتشار مطلبی خاص را داشته باشد که مخاطبین آن مطلب نیز افرادی خاص و منتخب هستند. این مطلب ممکن است از لحاظ بعضی شرایطی، برخی از قوانین موتورهای جستجو را نقض کند و یا شامل محتوایی باشد که امکان معرفی آن به صورت عمومی وجود نداشته باشد. در این صورت میتوان با کمک فایل Robots.txt دسترسی موتورهای جستجو به این صفحات یا فایلها را محدود کرد.
از بارزترین مثالها در این زمینه، سایتهای اشتراک فایل غیرقانونی از جمله سایتهای تورنت هستند. خیلی از این سایتها اجازه دسترسی به محتوای داخلیشان را به رباتهای موتورهای جستجو نمیدهند و به جای آن جستجوگر داخلی خودشان را به کاربران پیشنهاد میکنند. چون اگر محتوای این سایتها توسط رباتها شناسایی شوند، این سایتها به خاطر ارائه محتوای غیرقانونی نه تنها رتبه و جایگاه خود را در موتورهای جستجو از دست میدهند، بلکه مسائل مربوط به حقوق کپیرایت و مسائلی از این قبیل نیز گریبانگیرشان خواهد شد.
۲- عدم استفاده از فایل robots.txt میتواند به افت عملکرد بهینه سایت دامن بزند
وبسایتهای فعال به ویژه وبسایتهای پربازدید و بزرگ، روزانه هزاران بار توسط رباتهای گوناگون از سمت موتورهای جستجو مورد بازدید و بررسی قرار میگیرند. هر ربات یا به اصطلاح خزنده (Crawler) طی یک فرآیند دومرحلهای (بررسی و سپس ایندکس) اقدام به جمعآوری اطلاعات از سایتها میکند. این فرآیند شامل بررسی تمام بخشهای سایت شما است. حالا فرض کنید به صورت روزانه صدها یا هزاران ربات شروع به بررسی و جمعآوری اطلاعات از سایت شما میکنند و در این صورت، عملکرد بهینه سایت شما و سرعت بارگذاری اطلاعات آن برای مرورگرها تحتالشعاع قرار خواهد گرفت.
بدیهیست که رفت و آمد این حجم از رباتها میتواند تا حد قابل توجهی بازدهی کلی سایت را با شرایط نامناسبی همراه کند. البته اگرچه این موضوع برای سایتهایی که بازدید کمتری دارند بسیار کمتر به چشم میآید اما برای سایتهای پربازدید که به خودی خود باید روزانه ترافیک بازدید از سمت هزاران کاربر را هندل کنند، اضافه شدن ترافیک زیاد این رباتها نیز ممکن است دردسرساز باشد.
در این مواقع اغلب وبمسترها به راحتی و با استفاده از robots.txt دسترسی رباتهای موتورهای جستجو را به بخشهای مختلف و مشخص شدهای که اهمیت چندانی برای سئو و کسب رتبه در موتورهای جستجو ندارند را محدود میکنند. در این حالت نه تنها سرور سایت با ترافیک سبکتری فعالیت خواهد کرد، بلکه مراحل بررسی و جمعآوری اطلاعات و سپس ایندکس کردن آنها توسط رباتها نیز به مقدار بسیار زیادی سریعتر خواهد شد.
۳- استفاده از فایل robots.txt میتواند در مدیریت لینکها کاربردی باشد
از دیگر مزایای استفاده از robots.txt امکان مدیریت لینکها و آدرس صفحات (URL) است. در بحث سئو مسئلهای با عنوان مخفیسازی آدرس صفحات یا URL Cloacking وجود دارد. این بحث درواقع نوعی تکنیک سئو برای پنهان کردن آدرس صفحات از دید کاربران و یا موتورهای جستجو است. با کمک robots.txt میتوان این مدل لینکها را مدیریت کرده و آدرس آنها را پنهان کرد.
بیشترین کاربرد این مورد در استفاده از لینکهای مربوط به بحث “سیستم همکاری در فروش” یا “Affiliate Marketing” میباشد. در این حالت، شما میتوانید لینکهای ایجاد شده در سیستم Affiliate که با عنوان Affiliate Links شناخته میشوند را مدیریت کرده و آدرس آنها را مخفی کنید تا کاربران به نوعی مجبور به کلیک روی آنها شوند.
توجه کنید که این تکنیک فقط باید توسط افراد حرفهای انجام شود. چراکه URL Cloacking یکی از تکنیکهای سئوی کلاه سیاه است و در صورتی که به درستی آن را پیادهسازی نکنید، متهم به نقض قوانین موتورهای جستجو شده و شامل جریمههای گوگل خواهید شد.
نکات مهم فایل robots.txt در رابطه با سئو
همانطور که استفاده از دستورات robots.txt در خیلی از مواقع پیشنهاد میشود و برای کمپین سئوی سایت شما تأثیر مناسبی نیز خواهد داشت، زیادهروی و یا اشتباه کردن در آن نیز میتواند نتیجه عکس داشته باشد. به همین منظور نکات زیر را به طور دقیق مطالعه کرده و با توجه به این موارد یک فایل robots.txt مناسب و منطبق با استانداردهای سئو تهیه کنید :
قبل از هرچیز فایل robots.txt خود را بررسی و تست کنید تا مطمئن شوید بخش مهمی از سایت شما از طریق آن مسدود نشده باشد.
فایلها و پوشههای مهم CSS و JS را مسدود نکنید. فراموش نکنید که رباتهای گوگل درست از نگاه یک کاربر یک سایت را بررسی و ایندکس میکنند. در نتیجه اگر برخی از فایلهای CSS و JS و دیگر فایلهای مشابه را بلاک کنید، ممکن است سایت شما به صورت مناسب بارگذاری نشود و این مسئله نیز میتواند باعث ایجاد خطا شده و در ایندکس شدن دیگر صفحات سایت شما تأثیر منفی بگذارد.
اگر از WordPress استفاده میکنید، نیازی به مسدودسازی مسیرهایی همچون wp-admin و پوشههای wp-include نیست. وردپرس به صورت اتوماتیک این کار را از طریق تگهای متا انجام میدهد.
سعی کنید دستورات خاص زیادی برای رباتهای خاص تعیین نکنید. پیشنهاد میشود اگر دستور خاصی دارید آن را با کمک کد User-agent: * روی همگی رباتها اعمال کنید.
اگر مایلید که بعضی از صفحات سایت شما در موتورهای جستجو ایندکس نشوند، پیشنهاد میکنیم از متاتگهای هدر هر صفحه استفاده کنید. البته در حالی که تعداد این صفحات کم باشد یا این فرآیند برای شما دشوار نباشد.