Hãy tạo file robots.txt cho blog

File robots.txt dùng để hướng dẫn cho các con robot của các bộ máy tìm kiếm biết trang hoặc phần nào trên website hay blog của bạn nên đọc và thường xuyên đến để đánh chỉ mục, trang hoặc phần nào không nên đọc. Hầu hết các website và các blog đều có các thư mục chẳng liên quan gì hoặc chẳng có tác dụng gì cho các bộ máy tìm kiếm như là các file ảnh và các file admin. Vì thế việc tạo một file robots.txt hoàn toàn có thể cải thiện được việc đánh chỉ mục cho website hay blog của bạn.

File robots.txt là một file văn bản đơn giản, bạn có thể tạo nó bằng Notepad. Nếu như bạn sử dụng Wordpress thì file robots.txt mẫu có thể tạo như sau:

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/

“User-agent: *”: câu lệnh này có nghĩa là cho phép tất cả các con bot tìm kiếm (từ Google, Yahoo, MSN và các bộ máy tìm kiếm khác) sẽ dùng lệnh hướng dẫn này để đọc website hay blog của bạn. Trừ khi website hay blog của bạn quá phức tap, nếu không bạn không cần đặt các chỉ dẫn khác nhau cho các spider khác nhau. Bạn chỉ cần đặt y như trên là đủ.

“Disallow: /wp-“: câu lệnh này giúp các con bot của các bộ máy tìm kiếm bỏ qua tất cả các file của Wordpress (các file trong các folder như: wp-admin, wp-content, wp-includes) khi đánh chỉ mục cho blog của bạn. Nó giúp bạn tránh bị trùng lặp nội dung và đọc các file admin nhạy cảm.

Còn nếu các bạn không dùng Wordpress, hãy thay thế những dòng Disallow bằng các file hay các folder trên website mà bạn không muốn các con bot này nhòm ngó đến. Ví dụ:

User-agent: *
Disallow: /images/
Disallow: /cgi-bin/
Disallow: /bất cứ file hay folder nào mà bạn không muốn crawler đọc/

Sau khi bạn đã tạo xong file robots.txt, hãy upload nó lên thư mục gốc trên web host của bạn. Thế là xong thôi. Bây giờ thì bạn có thể an tâm là các con robot của các bộ máy tìm kiếm chỉ đọc nội dung trên blog của bạn chứ không đọc nội dung của các file Wordpress. Điều này là thực sự quan trọng vì nó giúp nội dung trên blog của bạn sẽ không bị trùng lặp, và các thông tin của các file nhạy cảm cần bảo mật trên web host sẽ không bị chúng nhòm ngó.

Phamen