Robots.txt Generator

ฟรี สร้างไฟล์ Robots.txt (Robots.txt Generator)

สร้างคำสั่งควบคุมบอทของ Search Engine (เช่น Googlebot, Yahoo, Baidu, Yandex) ว่าอนุญาตให้เข้ามาเก็บข้อมูลในหน้าไหนได้บ้าง หรือสั่งห้ามไม่ให้เข้าถึงโฟลเดอร์ที่เป็นความลับของเว็บไซต์ (Technical SEO)

วิธีใช้งาน: ตั้งค่าการอนุญาตเริ่มต้น ระบุโฟลเดอร์ที่ต้องการบล็อก และเลือกว่าจะบล็อกบอทตัวไหนเป็นพิเศษ จากนั้นกดปุ่ม "✨ สร้าง Robots.txt"

1. ตั้งค่าพื้นฐาน (Global Settings)

การเข้าถึงเริ่มต้น (Default Access) * อนุญาตทั้งหมด (Allow All) บล็อกทั้งหมด (Disallow All)

หน่วงเวลาบอท (Crawl-Delay) ไม่กำหนด (Default) 5 วินาที 10 วินาที 20 วินาที 60 วินาที

ที่อยู่ไฟล์ Sitemap (Sitemap URL) หากมีไฟล์ Sitemap ให้นำลิงก์มาวาง เพื่อชี้เป้าให้บอทหาเจอไวขึ้น

โฟลเดอร์ที่ต้องการบล็อก (Restricted Directories) หากต้องการห้ามบอทเข้าบางโฟลเดอร์ ให้พิมพ์พาร์ทลงไป (เว้น 1 บรรทัดต่อ 1 โฟลเดอร์) เช่น /wp-admin/

2. กฎเฉพาะบอท (Specific Search Robots)

Googlebot ตามค่าเริ่มต้น (Default) อนุญาต (Allow) บล็อก (Disallow)

Googlebot-Image ตามค่าเริ่มต้น (Default) อนุญาต (Allow) บล็อก (Disallow)

Bingbot (Microsoft) ตามค่าเริ่มต้น (Default) อนุญาต (Allow) บล็อก (Disallow)

Slurp (Yahoo) ตามค่าเริ่มต้น (Default) อนุญาต (Allow) บล็อก (Disallow)

Baiduspider ตามค่าเริ่มต้น (Default) อนุญาต (Allow) บล็อก (Disallow)

YandexBot ตามค่าเริ่มต้น (Default) อนุญาต (Allow) บล็อก (Disallow)

3. โค้ดของคุณ (Result)

🤖

พร้อมสร้าง Robots.txt

ปรับตั้งค่าด้านซ้ายเพื่อเริ่มต้น

</> robots.txt

คำถามที่พบบ่อย (FAQ)

ไฟล์ Robots.txt คืออะไร ทำไมเว็บไซต์ถึงต้องมี?

Robots.txt เปรียบเสมือน "ป้ายประกาศหน้าบ้าน" ที่คอยบอกบอทของ Search Engine (เช่น บอทของ Google) ว่า "ห้องไหนในบ้านที่อนุญาตให้เข้าไปดูได้ และห้องไหนที่เป็นพื้นที่ส่วนตัวห้ามเข้า" หากเราไม่มีไฟล์นี้ บอทจะมองว่าอนุญาตให้เข้าดูได้ทุกหน้า ซึ่งอาจทำให้บอทไปเก็บข้อมูลหน้าที่เราไม่ต้องการให้โชว์บน Google (เช่น หน้าแอดมินหลังบ้าน) ครับ

ค่า Crawl-Delay คืออะไร ควรตั้งค่าเท่าไหร่?

Crawl-Delay คือการสั่งให้บอทรอ (กี่วินาที) ก่อนที่จะคลิกดูหน้าถัดไปในเว็บเราครับ เอาไว้ใช้ในกรณีที่เว็บเราเซิร์ฟเวอร์สเปคต่ำ ถ้าปล่อยให้บอทวิ่งเก็บข้อมูลรัวๆ เว็บอาจจะล่มได้ (โดยทั่วไปแนะนำให้ปล่อยเป็น ไม่กำหนด เพื่อให้บอททำงานได้เต็มประสิทธิภาพ ยกเว้นเว็บคุณจะมีปัญหาเรื่องโหลดช้าบ่อยๆ ครับ)

สร้างเสร็จแล้ว เอาไปไว้ที่ไหนของเว็บไซต์?

เมื่อดาวน์โหลดไฟล์ robots.txt ไปแล้ว ให้ทำการอัปโหลดไฟล์นี้ไปไว้ที่ โฟลเดอร์นอกสุด (Root Directory) ของโฮสติ้งคุณครับ

*วิธีเช็กว่าวางถูกที่หรือไม่: ลองพิมพ์ www.ชื่อเว็บคุณ.com/robots.txt ถ้าขึ้นข้อความแบบในจอ แปลว่าทำถูกต้องครับ! (สำหรับผู้ที่ใช้ Blogger ไฟล์นี้จะถูกสร้างให้อัตโนมัติ สามารถนำโค้ดไปวางทับในเมนูตั้งค่า > โปรแกรมรวบรวมข้อมูลและการจัดทำดัชนี ได้เลย)