ساخت آنلاین فایل Robots.txt | زی ابزار

ساخت آنلاین فایل Robots.txt | زی ابزار.

ساخت آنلاین فایل Robots.txt

پیش فرض - همه روبات ها:
مرور-با تاخیر:
نقشه سایت: (اگر ندارید خالی بگذارید)
ربات های جستجو:	گوگل
	Google Image
	Google Mobile
	بینگ
	یاهو
	Yahoo MM
	Yahoo Blogs
	Ask/Teoma
	GigaBlast
	DMOZ Checker
	Nutch
	Alexa/Wayback
	Baidu
	Naver
	MSN PicSearch
دایرکتوری محدود شده:	The path is relative to root and must contain a trailing slash "/"

اکنون، فایل robots.txt را در دایرکتوری ریشه خود ایجاد کنید. متن بالا را کپی کنید و در فایل متنی قرار دهید.

موتورهای جستجو همانند گوگل، یاهو و بینگ مایکروسافت برای برای یافتن و ایندکس کردن صفحات مختلف وب و سایت های موجود از روبات های جستجو که به spider , robot و یا crawler معروف هستند استفاده می‌کننید. این روبوت‌ها با پیمایش خودکار در صفحات وب اطلاعات مربوط به صفحات رو بدست میارند و اونها رو به موتور جستجوی مربوطه ارسال می‌کنند. معمولا بر اساس اینکه یک سایت چند مدت به چند مدت آپدیت میشه تعداد دفعاتی که این روبات های جستجوگر در روز به سایت مراجعه می کنند متفاوته. صفحات موجود در سایت‌های مختلف از لحاظ امنیتی و درجه حساسیت متفاوت هستند و شاید شما دوست نداشته باشید بعضی از صفحات (مثل صفحات مدیریتی و ادمین سایت) در موتورهای جستجو ایندکس بشه و آدرسش در این موتورها در اختیار عموم باشه. برای اینکه به موتورهای جستجو بگید چه صفحات یا فولدرهایی در سایت رو پیمایش و ایندکس کنه و اینکه چه صفحاتی رو ایندکس نکنه می تونید از یک فایل با نام robot.txt در ایندکس هاستینگ سایتتون و یا در پوشه‌ای خاص استفاده کنید تا به موتورهای جستجو بگید جا مجازید پیمایش کنید و کجا مجاز نیستید.
همونطور که در عکس بالا می‌بینید، در سایتی که از فایل robot.txt استفاده نشده باشه روبات های موتورهای جستجو همه ی صفحات رو ایندکس می کنند در صورتی که با استفاده از این فایل میشه این ایندکس شدنها رو برای پوشه های مختلف کنترل کرد! از این فایل همچنین برای جلوگیری از ایندکس شدن تکراری صفحات با url های مختلف استفاده میشه.
خوب حالا که فهمیدید دلیل استفاده از فایل مهم robot.txt چی هست، نحوه استفاده از اون رو براتون توضیح میدیم: فایل robot.txt یک فایل متنی ساده (دقیقا با همین نام و پسوند txt) است. در زیر چند تا از مهمترین دستوراتی که توی این فایل می تونید بیارید آوردم . User-agent در خط اول این فایل معمولا نوع روباتی که قراره محدودیت ایندکسینگ رو براش اعمال کنیم با دستور *:User-agent میاریم. به شکل زیر:

User-agent: *

1	User-agent: *

علامت * میگه که همه ی ربات های پیمایشگر، این دستورات براشون اعمال بشه. مثلا اگه بخواید بگید فقط روبات های گوگل این محدودیت‌ها رو داشته باشند ، این دستور رو به این شکل داریم:

User-agent: googlebot

1	User-agent: googlebot

در اینجا میتونید لیست همه ی روبوت های موجود و معروف رو ببینید. اگر فایل فقط حاوی این خط باشه همچنان پیمایشگران محترم موتورهای جستجو بدون محدودیت به ایندکس کردن همه صفحات ادامه می‌دن. Disallow برای جلوگیری از ایندکس شدن ادرس خاصی از سایت از دستور Disallow استفاده میشه. بزارید چندتا مثال بزنیم :

User-agent: googlebot
Disallow: /

1 2	User-agent: googlebot Disallow: /

این دوخط فوق باعث میشه که جلوی ایندکس شدن همه‌ی صفحات توسط روبوت‌های گوگل گرفته بشه.

User-agent: *
Disallow: /admin.php

1 2	User-agent: * Disallow: /admin.php

در مثال فوق همه‌ی روبوت ها رو محدود می‌کنید که اجازه ایندکس کردن صفحه admin.php رو نداشته باشند.

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /private.html

User-agent: *

Disallow: /cgi-bin/

Disallow: /images/

Disallow: /private.html

در این مثال هم همه ی روبوت‌ها رو محدود میکنید که اجازه ایندکس کردن صفحه private.html و پوشه های cgi-bin و images رو نداشته باشند.

البته می‌تونید برای روبوت‌های مختلف محدودیت‌های مختلف تعیین کنید:

User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /private.html

User-agent: googlebot
Disallow: /images/

User-agent: BadBot
Disallow: /

User-agent: *

Disallow: /cgi-bin/

Disallow: /admin/

Disallow: /private.html

User-agent: googlebot

Disallow: /images/

User-agent: BadBot

Disallow: /

Allow از دستور Allow هم معمولا برای اجازه دادن ایندکسینگ به زیرپوشه ای که درون یک پوشه Dissallow شده قرار داده استفاده میشه . مثال زیر رو ببینید :

User-agent: *
Disallow: /files/
Allow: /files/public/

User-agent: *

Disallow: /files/

Allow: /files/public/

در اینجا ما می گیم که روبات ها اجازه ایندکس کردن محتویات درون پوشه files رو ندارند به جز پوشه public که در پوشه files قرار داره!

robot.txt برای سایت های وردپرسی! در زیر یک فایل مناسب برای استفاده وب سایت‌هایی که با وردپرس ساخته شدند آوردم. می تونید ازش استفاده کنید. میبینید که به پوشه های مدیریتی و حاوی فایل ها قالب و پلاگین‌ها و … اجازه دسترسی داده نشده.

User-agent: *

Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
Sitemap: http://zefile.ir/sitemap.xml

User-agent: *

Disallow: /feed/

Disallow: /trackback/

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: /xmlrpc.php

Disallow: /wp-

Sitemap: http://zefile.ir/sitemap.xml

همونطور که در مثال بالا می بینید می تونید به این طریق Sitemap سایت خودتون رو هم در این فایل قرار بدید تا در معرض دید روبات ها باشه . انشاءالله در آینده در مورد فایل sitemap و دلایل استفاده از اون هم صحبت خواهیم کرد .
robot.txt برای سایت های پیاده سازی شده با جوملا !

User-agent: *
Disallow: /component

1 2	User-agent: * Disallow: /component

در آخر هم بد نیست یه نگاهی به فایل robot.txt خود سایت گوگل بکنید!

http://www.google.com/robots.txt

منبع مقاله: سون لرن

دیدگاهتان را بنویسید

ساخت آنلاین فایل Robots.txt | زی ابزار

در صورتی که این ابزار برای شما کاربردی بوده است برای توسعه آن و سایر ابزارها با حمایت از ما و معرفی به دوستان از ما حمایت کنید.

به اشتراک بگذارید

نحوه ساخت آنلاین فایل Robots.txt | زی ابزار

ساخت آنلاین فایل Robots.txt

فایل Robots.txt یک فایل متنی است که در سایت های وب استفاده می شود تا به موتورهای جستجو اطلاع دهد که کدام بخش های سایت را می توانند اسکن کنند و کدام بخش ها را نباید اسکن کنند. این فایل معمولا در ریشه سایت قرار می گیرد و توسط وبمسترها و توسعه دهندگان سایت تنظیم می شود. با ساخت یک فایل Robots.txt، می توانید به راحتی به موتورهای جستجویی مانند گوگل و بینگ اطلاع دهید که کدام بخش ها از سایت شما باید اسکن شوند و کدام بخش ها را باید نادیده بگیرند. به این ترتیب، می توانید کنترل بیشتری بر روی نحوه نمایش سایت خود در نتایج جستجو داشته باشید و از این طریق بهینه سازی سایت خود را انجام دهید.

فایل Robots.txt یک فایل متنی است که توسط وب سایت ها برای اعلام دستوراتی به ربات های موتورهای جستجو استفاده می شود. این فایل به ربات ها می گوید که صفحات وب سایت کدام قسمت ها را برای جستجو در نظر بگیرند و کدام قسمت ها را نادیده بگیرند. در اینجا ما قصد داریم یک سرویس آنلاین را برای ساخت فایل Robots.txt ارائه دهیم.

قبل از شروع به ساخت فایل Robots.txt، باید توجه کنیم که این فایل حاوی دستورات خاصی است که ربات ها باید طبق آن عمل کنند. برخی از دستورات رایج در فایل Robots.txt عبارتند از:

۱. User-agent: این دستور برای تعیین ربات هدف استفاده می شود. می توانید از “*” استفاده کنید تا دستورات را برای همه ربات ها اعمال کنید.
۲. Disallow: این دستور برای مشخص کردن صفحاتی است که ربات ها نباید آن ها را جستجو کنند. می توانید از “/” استفاده کنید تا همه صفحات را متوقف کنید.
۳. Allow: این دستور برای مشخص کردن صفحاتی است که ربات ها مجاز به جستجو کردن آن ها هستند. این دستور به همراه Disallow استفاده می شود تا صفحات خاصی را مجاز کنید.

حالا برای ساخت فایل Robots.txt آنلاین، شما می توانید از این مراحل پیروی کنید:

۱. باز کنید یک ویرایشگر متنی یا یک سرویس آنلاین Robots.txt.
۲. در قسمت User-agent، نام ربات هدف خود را وارد کنید. اگر می خواهید دستورات را برای همه ربات ها اعمال کنید، از “*” استفاده کنید.
۳. در قسمت Disallow، صفحاتی را که ربات ها نباید آن ها را جستجو کنند، وارد کنید. می توانید از “/” استفاده کنید تا همه صفحات را متوقف کنید.
۴. در قسمت Allow، صفحاتی را که ربات ها مجاز به جستجو آن ها هستند، وارد کنید. این دستور به همراه Disallow استفاده می شود تا صفحات خاصی را مجاز کنید.
۵. ذخیره فایل Robots.txt و آن را در ریشه وب سایت خود آپلود کنید.

استفاده از سرویس آنلاین ساخت فایل Robots.txt به شما کمک می کند تا به راحتی دستورات مورد نیاز خود را به ربات های موتورهای جستجو منتقل کنید. این سرویس همچنین به شما امکان می دهد تا فایل Robots.txt خود را به راحتی ویرایش و به روز کنید. با استفاده از این سرویس، می توانید به سرعت و به طور دقیق کنترل کنید کدام صفحات وب سایت شما توسط ربات های موتورهای جستجو جستجو می شوند و کدام صفحات نادیده گرفته می شوند.

ساخت آنلاین فایل Robots.txt | زی ابزار

ساخت آنلاین فایل Robots.txt

به اشتراک بگذارید

نمایش ابزار در سایت شما

نحوه ساخت آنلاین فایل Robots.txt | زی ابزار