Trực tiếp từ Google:
Thẻ meta là một cách tuyệt vời để quản trị viên web cung cấp cho các công cụ tìm kiếm thông tin về các trang web của họ. Thẻ meta có thể được sử dụng để cung cấp thông tin cho tất cả các loại máy khách và mỗi hệ thống chỉ xử lý các thẻ meta mà chúng hiểu và bỏ qua phần còn lại.
Nếu bạn muốn chặn hoàn toàn tất cả các công cụ tìm kiếm:
Tại sao?
Có lẽ đó là một URL hơi riêng tư trên trang web của bạn, nhưng không được bảo vệ theo cách mà một bot tìm kiếm không thể nhìn thấy nó. Giống như nếu một trang yêu cầu đăng nhập để xem nó, thì trang đó vẫn bị chặn khỏi bot tìm kiếm. Nhưng nếu đó chỉ là một URL bị xáo trộn, ai biết được cách các bot tìm kiếm hoạt động, vì vậy bạn có thể muốn ngăn việc lập chỉ mục.
Kết quả tìm kiếm là một kết quả phổ biến khác. Có lẽ thật kỳ lạ khi có một kết quả tìm kiếm là kết quả tìm kiếm. Các chủ đề WordPress có xu hướng bao gồm:
Tôi có thể thay đổi điều đó một chút và nói với bot, này, bạn có thể theo các liên kết ở đây để giúp tiếp tục lập chỉ mục trang web, nhưng không lập chỉ mục trang này một cách cụ thể.
Khác
Các công cụ tìm kiếm có xu hướng sử dụng thẻ mô tả cho nội dung văn bản bên cạnh :
Xem trang Google để biết các trang cụ thể khác của Google như khả năng dừng những thứ trên giao diện người dùng cụ thể của Google như “hộp tìm kiếm liên kết trang web” của chúng.