# ไฟล์ robots.txt สำหรับ //www.computerhope.comUser-agent: * ไม่อนุญาต: / directory1 /ไม่อนุญาต: / directory2 /
ในตัวอย่าง robots.txt ข้างต้นบรรทัดแรกคือคำสั่ง nonexecutable ที่อธิบายไฟล์ ถัดไปบรรทัด ผู้ใช้ - ตัวแทน บอกว่าหุ่นยนต์หรือบอทควรทำตามส่วนนี้ของไฟล์ ในตัวอย่างด้านบนเครื่องหมาย * หมายถึงบ็อตทั้งหมด ในที่สุดสองบรรทัดถัดไปคือสองไดเรกทอรีที่คุณต้องการให้บอทไม่ทำดัชนี
หากคุณต้องการอนุญาตให้บอทค้นหา URL ทั้งหมดในเว็บไซต์ของคุณให้ป้อนชื่อ ธ ปทแล้วตามด้วยไม่อนุญาต: ด้วยค่าว่างตามที่เห็นในตัวอย่างด้านล่าง
ตัวแทนผู้ใช้: Somebot *ไม่อนุญาตให้ใช้:
เงื่อนไขอินเทอร์เน็ต, เมตาแท็ก, หุ่นยนต์, เงื่อนไข SEO, แผนผังเว็บไซต์, ข้อกำหนดการออกแบบเว็บ