ไฟล์ robots.txt คืออะไร มีผลอย่างไรกับ SEO

ไฟล์ robots.txt คือ ไฟล์ Text ที่เก็บชุดคำสั่งไว้สำหรับบอกให้ Google และ Search Engines ทราบว่า เราต้องการให้พวกเค้าเก็บข้อมูลอะไรบาง และข้อมูลไหนที่ไม่ต้องการให้เก็บซึ่งจะมีผลต่ออการทำ SEO เช่น เราต้องการให้ Google เก็บข้อมูลเฉพาะหน้าแสดงสินค้า แต่ไม่ต้องการให้ Google เก็บข้อมูลในส่วนของหลังบ้าน เป็นต้น 

ส่วนประกอบของไฟล์ robots.txt 

1. User-agent คือ ระบุให้ทราบว่ากฏระเบียบดังกล่าวจะบังคับโปรแกรม Bot ตัวใด 

2. Allow คือ อนุญาตให้โปรแกรม Bot เก็บข้อมูลหน้าไหน 

3. Disallow คือ ไม่อนุญาตให้โปรแกรม Bot เก็บข้อมูลหน้าไหน 

ปกติจะกำหนดเฉพาะ Disallow ส่วน Allow ไม่ต้องกำหนด เพราะโปรแกรม Bot จะวิ่งเก็บข้อมูลทุกหน้าอยู่แล้ว 

ตัวอย่างไฟล์ robots.txt 

User-agent: * 
Disallow: /admin/ 

คำสั่งด้านบน คือ ไม่อนุญาตให้เก็บข้อมูลหน้า /admin/ (ตัวอย่าง devdit.com/admin/) และบังคับใช้กับโปรแกรม Bot ทุกโปรแกรม เนื่องจาก User-agent เท่ากับ *

วิธีทดสอบไฟล์ robots.txt

ไฟล์ robots.txt เมื่อสร้างเสร็จแล้วให้วางไว้ที่ตำแหน่ง root ของเว็บไซต์ (ที่เดียวกับไฟล์ index แรกเว็บไซต์) เวลาทดสอบให้เรียกชื่อเว็บไซต์ตามด้วยชื่อไฟล์ robots เช่น

devdit.com/robots.txt