Theo blog Google’s Webmaster Central, Google hiện đang lập chỉ mục các websiter bằng cách tự động quét các feed RSS và Atom.

Việc này sẽ giúp Google phát hiện ra các trang web nhanh hơn và cho phép người dùng tìm ra nội dung mới trong các kết quả tìm kiếm sớm hơn. Dù không thực sự là “real-time”,  việc sử dụng các feed để tìm ra các trang mới của website là 1 phương pháp có thể nói là nhanh hơn so với các kỹ thuật crawling mò mẫm mà Google đã sử dụng trước đây.

Và Google có thể sẽ còn nhanh hơn trong tương lai gần, blog nói trên còn lưu ý hãng sẽ sớm thử dùng các cơ chế như giao thức thời gian thực như PubSubHubbub để nhận ra các mẫu tin mới.

Blog không không cho biết RSS và Atom có thay thế cách thức crawling các site như truyền thống hay không, nhưng có vẻ nếu được lựa chọn Google sẽ sử dụng phương cách nhanh hơn. Nếu thì các website nên sử dụng các full feed chứa toàn bộ nội dung thay vì chỉ phần mở đầu bài viết, để Google có thể lập chỉ mục nội dung nhanh hơn.

Crawling web tức thời trong tương lai ?

Google nói bóng gió rằng họ có thể bắt đầu xem xét các cơ chế khác như PubSubHubbub, một giao thức mở cung cấp các cảnh báo gần như tức thời về các thay đổi, cập nhật trên website. Có lẽ web realtime là xu hướng mà Google không thể ngó lơ.

Web real-time, vốn bị ảnh hưởng nhiều bởi tốc độ của Twitter và cập nhật thông tin cực nhanh của các mạng xã hội khác, đã làm cho người dùng internet ao ước được truy cập thông tin nhanh hơn. Mong ước này đã tạo ra các giao thức thời gian thực mới như PubSubHubbub và bản sao của nó, RSSCloud. Nếu Google sử dụng các giao thức này để quét các website, các kết quả tìm kiếm của Google không chỉ được cập nhật nhanh hơn mà còn với tốc độ thời gian thực.

Blog còn đưa ra lời khuyên các webmaster không nên dùng file robot.txt để khóa, chặn các Googlebot truy cập đến các feed RSS/Atom nếu không cần thiết.

readwriteweb

• Java giúp Google App Engine trở nên chính thống hơn
• Những thông tin về cỗ máy tìm kiếm mới Wolfram Alpha và so sánh với Google
• Google Drive vẫn chưa được công bố
• Google tiết lộ Caffein: Công nghệ tìm kiếm thế hệ mới
• Google giới thiệu các gadget xã hội cho trang chủ iGoogle
• Gmail Mobile đã có Outbox
• Google Voice bổ sung cuộc gọi miễn phí từ Mỹ đi Canada
• Người dùng Linux yêu thích Google, thờ ơ với Bing
• Lo ngại về bảo mật khi Google Docs công khai xuất hiện trong kết quả tìm kiếm
• Firefox addon ThunderBrowse đã hỗ trợ Postbox