دارندگان وبسایت ها از robots.txt جهت معرفی ساختار سایتشان به ربات های سراسر اینترنت به کارگیری می نمایند. سئو در مشهد یک نمونه در خصوص با کیفیت کارکرد این فولدر: یک ربات کاوش گر مثل ربات گوگل قصد ورود به تارنما شمارا داراست تا موردها آیتم نظرش زیرا مشکلات، صفحه های، محتوا، تصاویر و غیره را ایندکس نماید. عبارت User-agent: * به معنای این میباشد کهاین وبسایت و این امر برای همۀ ربات ها یکسان میباشد. و نصیب Disallow: / دربردارنده این پیام میباشد که هیچ رباتی نباید هیچ قسمتی از این تارنما را تحقیق و مشاهده کند.
دو نوع طریقه نسبت به به کار گیری کنندگان از robots.txt وجود دارااست:
1. ربات ها میتوانند robots.txt شمارا نادیده بگیرند! به خصوص آنکه ربات های مخرب، کارشان کپی نمودن سراسر اینترنت برای یافتن نقص های امنیتی، آدرس اینترنتی نشانی ها و غیره میباشد، کوچکترین توجهی به محتویات robots.txt ندارند.
2. پوشه robots.txt یک پوشه در دسترس مردم است. هرکسی میتواند ببیند که شما کدام بخش را گرایش ندارید که ربات های دیگر ببینند.
*پس برای پنهان نمودن اطلاعاتتان با به کارگیری از robots.txt کارایی نکنید.
نحوۀ ایجاد کرد یک پوشه robots.txt
کجا آن را در اختیار بگذاریم؟
جواب کوتاه: در بالاترین سطح دایرکتوری سرور سایتتان
جواب بی نقص: زمانیکه یک روبات بهدنبال پوشه robots.txt برای آدرس URL شما میشود، درپی اولی اسلش بعداز اکستنشن شما می رود و به طور خود کار عبارت robots.txt را قرار میدهد.
به همین خیال شما تحت عنوان دارای وب سایت باید این فولدر را در جای درست و جایی قرار دهید که در حاصل کاوش چشم گردیده و کار کند. معمولا این فولدر را در جایی شبیه به عبارتی ورقه مهم وب سایت (index.html) یا این که به عبارتی صفحۀ به اصطلاح خوشامدگویی قرار میدهند.
*فراموش نکنید که کل حروف این فولدر خرد نوشته میشوند: درست: robots.txt ؛ خطا: Robots.TXT
چه چیزی در آن بنویسیم؟
فولدر robots.txt یک فولدر متنی میباشد که از یک یا این که تعداد بیشتری از امرها تاسیس شده است. به طور معمول مشمول یک امر مشابه بهاین میشود:
در نمونه فوق شاهد 3 دایرکتوری محروم گردیده میباشید که با به کارگیری از این 3 فرمان، پیامی به ربات های سراسر اینترنت ارسال می نماید که در معنای عدم دسترسی وی به فولدر های معلوم گردیدهاست.
اعتنا داشته باشید که برای محروم نمودن ربات ها به یک URL خاص، بایستی در هر خط جدا از هم یک امر نو را وارد فرمایید. شما نمی توانید امر Disallow: /cgi-bin/ /tmp/ را در یک خط وارد نمائید. همینطور نباید در مقابل یک امر، خط را خالی بگذارید چراکه برای ربات این تصور میگردد که فرمان متبوع برای کل تارنما شما قابل انجام میباشد.
درضمن شما نمی توانید به طور منظم و نامنظم امرها درون پوشه را با یکدیگر مخلوط کنید. مثلا نشان "*" در فیلد User-agent به معنای آن میباشد که دستورها وارداتی در مقابل این عبارت برای کلیه ربات ها مایحتاج الاجراست. به صورت مشخص و معلوم و عینی شما نمی توانید دستوراتی زیرا User-agent: *bot*", "Disallow: /tmp/*" or "Disallow: *.gif را در کنار همدیگر وارد نمائید.
تحقیق ظریف فرمایید که چه چیزهایی را نمیخواهید ربات ها ببینند. هرچیزی را که نمیخواهید آنان ببینند را به راحتی میتوانید از دیدشان پنهان نمائید. به نمونه های پایین دقت بفرمایید:
خط امر به تک تک ربات ها برای عدم دسترسی به تمام وب سایت شما
خط دستور به تک تک ربات ها برای دسترسی به آحاد تارنما شما
برای اجرای امر فوق همینطور میتوانید یک پوشه robots.txt فارغ از متن بسازید و هیچ وقت به سراغش نروید.
خط دستور به آحاد ربات ها برای عدم دسترسی به بخشی از وب سایت شما
خط امر به یک ربات خاص برای عدم دسترسی اش به آحاد وب سایت (به عنوان مثال اسم ربات "BadBot" میباشد)
خط امر به فقط یک ربات خاص جهت دسترسی به آحاد وبسایت شما و عدم دسترسی بقیه ربات ها:
خط امر به مجموع ربات ها برای عدم دسترسی به تک تک پوشه ها به جز بعضا از آن ها:
یا این که برای معین نمودن ظریف یک آدرس و یا این که پوشه میتوانید از این اوامر استعمال فرمایید و آدرس ظریف را در جعبه robots.txt وارد کنید.
از آنجایی که گوگل و بقیه موتورهای کاوش برای ایندکس کردن و بهینه سازی از ربات ها به کارگیری می نمایند، به این ترتیب می قدرت اظهار کرد که ربات ها در seo نقش دارا هستند. ولی به چه شکل؟ دراین نوشتهیعلمی قصد داریم شمارا با مداقه ربات ها و نقش آن ها در بهینه سازی همان نقش robots.txt در seo و همینطور اعتنا بدین پوشه ها در ساخت وب سایت توضیح دهیم. در هنگام ساخت سایت ممکن میباشد از فولدر robots.txt به کارگیری نمایید. برای این خواسته آغاز در امر معنا این پوشه توضیحاتی را ارائه میدهیم.
دارندگان وبسایت ها از robots.txt جهت معرفی ساختار سایتشان به ربات های سراسر اینترنت به کارگیری می نمایند. سئو در مشهد یک نمونه در خصوص با کیفیت کارکرد این فولدر: یک ربات کاوش گر مثل ربات گوگل قصد ورود به تارنما شمارا داراست تا موردها آیتم نظرش زیرا مشکلات، صفحه های، محتوا، تصاویر و غیره را ایندکس نماید. عبارت User-agent: * به معنای این میباشد کهاین وبسایت و این امر برای همۀ ربات ها یکسان میباشد. و نصیب Disallow: / دربردارنده این پیام میباشد که هیچ رباتی نباید هیچ قسمتی از این تارنما را تحقیق و مشاهده کند.
دو نوع طریقه نسبت به به کار گیری کنندگان از robots.txt وجود دارااست:
1. ربات ها میتوانند robots.txt شمارا نادیده بگیرند! به خصوص آنکه ربات های مخرب، کارشان کپی نمودن سراسر اینترنت برای یافتن نقص های امنیتی، آدرس اینترنتی نشانی ها و غیره میباشد، کوچکترین توجهی به محتویات robots.txt ندارند.
2. پوشه robots.txt یک پوشه در دسترس مردم است. هرکسی میتواند ببیند که شما کدام بخش را گرایش ندارید که ربات های دیگر ببینند.
*پس برای پنهان نمودن اطلاعاتتان با به کارگیری از robots.txt کارایی نکنید.
نحوۀ ایجاد کرد یک پوشه robots.txt
کجا آن را در اختیار بگذاریم؟
جواب کوتاه: در بالاترین سطح دایرکتوری سرور سایتتان
جواب بی نقص: زمانیکه یک روبات بهدنبال پوشه robots.txt برای آدرس URL شما میشود، درپی اولی اسلش بعداز اکستنشن شما می رود و به طور خود کار عبارت robots.txt را قرار میدهد.
به همین خیال شما تحت عنوان دارای وب سایت باید این فولدر را در جای درست و جایی قرار دهید که در حاصل کاوش چشم گردیده و کار کند. معمولا این فولدر را در جایی شبیه به عبارتی ورقه مهم وب سایت (index.html) یا این که به عبارتی صفحۀ به اصطلاح خوشامدگویی قرار میدهند.
*فراموش نکنید که کل حروف این فولدر خرد نوشته میشوند: درست: robots.txt ؛ خطا: Robots.TXT
چه چیزی در آن بنویسیم؟
فولدر robots.txt یک فولدر متنی میباشد که از یک یا این که تعداد بیشتری از امرها تاسیس شده است. به طور معمول مشمول یک امر مشابه بهاین میشود:
در نمونه فوق شاهد 3 دایرکتوری محروم گردیده میباشید که با به کارگیری از این 3 فرمان، پیامی به ربات های سراسر اینترنت ارسال می نماید که در معنای عدم دسترسی وی به فولدر های معلوم گردیدهاست.
اعتنا داشته باشید که برای محروم نمودن ربات ها به یک URL خاص، بایستی در هر خط جدا از هم یک امر نو را وارد فرمایید. شما نمی توانید امر Disallow: /cgi-bin/ /tmp/ را در یک خط وارد نمائید. همینطور نباید در مقابل یک امر، خط را خالی بگذارید چراکه برای ربات این تصور میگردد که فرمان متبوع برای کل تارنما شما قابل انجام میباشد.
درضمن شما نمی توانید به طور منظم و نامنظم امرها درون پوشه را با یکدیگر مخلوط کنید. مثلا نشان "*" در فیلد User-agent به معنای آن میباشد که دستورها وارداتی در مقابل این عبارت برای کلیه ربات ها مایحتاج الاجراست. به صورت مشخص و معلوم و عینی شما نمی توانید دستوراتی زیرا User-agent: *bot*", "Disallow: /tmp/*" or "Disallow: *.gif را در کنار همدیگر وارد نمائید.
تحقیق ظریف فرمایید که چه چیزهایی را نمیخواهید ربات ها ببینند. هرچیزی را که نمیخواهید آنان ببینند را به راحتی میتوانید از دیدشان پنهان نمائید. به نمونه های پایین دقت بفرمایید:
خط امر به تک تک ربات ها برای عدم دسترسی به تمام وب سایت شما
خط دستور به تک تک ربات ها برای دسترسی به آحاد تارنما شما
برای اجرای امر فوق همینطور میتوانید یک پوشه robots.txt فارغ از متن بسازید و هیچ وقت به سراغش نروید.
خط دستور به آحاد ربات ها برای عدم دسترسی به بخشی از وب سایت شما
خط امر به یک ربات خاص برای عدم دسترسی اش به آحاد وب سایت (به عنوان مثال اسم ربات "BadBot" میباشد)
خط امر به فقط یک ربات خاص جهت دسترسی به آحاد وبسایت شما و عدم دسترسی بقیه ربات ها:
خط امر به مجموع ربات ها برای عدم دسترسی به تک تک پوشه ها به جز بعضا از آن ها:
یا این که برای معین نمودن ظریف یک آدرس و یا این که پوشه میتوانید از این اوامر استعمال فرمایید و آدرس ظریف را در جعبه robots.txt وارد کنید.
از آنجایی که گوگل و بقیه موتورهای کاوش برای ایندکس کردن و بهینه سازی از ربات ها به کارگیری می نمایند، به این ترتیب می قدرت اظهار کرد که ربات ها در seo نقش دارا هستند. ولی به چه شکل؟ دراین نوشتهیعلمی قصد داریم شمارا با مداقه ربات ها و نقش آن ها در بهینه سازی همان نقش robots.txt در seo و همینطور اعتنا بدین پوشه ها در ساخت وب سایت توضیح دهیم. در هنگام ساخت سایت ممکن میباشد از فولدر robots.txt به کارگیری نمایید. برای این خواسته آغاز در امر معنا این پوشه توضیحاتی را ارائه میدهیم.

شالوده و اساس الگوریتم های گوگل