Trình Tạo File Robots.txt
Tools online | Chào mừng bạn đến với công cụ tạo file robots.txt nhanh chóng và dễ dàng. File robots.txt là một tệp văn bản đơn giản mà bạn đặt trên trang web của mình để "chỉ đường" cho các công cụ tìm kiếm (như Google, Bing) nên thu thập dữ liệu (crawl) ở những trang nào và nên bỏ qua những trang nào. Việc sử dụng file này đúng cách giúp tối ưu hóa SEO, tiết kiệm tài nguyên máy chủ và bảo vệ các khu vực nhạy cảm của website.
Hướng dẫn sử dụng
- Thiết lập mặc định: Chọn cho phép hoặc chặn tất cả các bot theo mặc định.
- Thêm Sitemap: Dán URL đầy đủ của sitemap (ví dụ: `https://yourdomain.com/sitemap_index.xml`) để giúp bot tìm thấy tất cả các trang của bạn.
- Crawl Delay (Độ trễ): Chỉ định thời gian (giây) mà bot phải đợi giữa các lần truy cập. Thận trọng khi sử dụng, thường không cần thiết cho hầu hết các website.
- Chặn thư mục: Nhập các đường dẫn thư mục bạn không muốn bot truy cập, mỗi đường dẫn trên một dòng (ví dụ: `/wp-admin/`).
- Nhấn nút "Tạo File Robots.txt" và sao chép kết quả vào file robots.txt trên hosting của bạn.
Kết quả Robots.txt
# Nhấn nút "Tạo File" để xem kết quả tại đây.