Crawl Budget

Crawl Budget là lượng URL Google có thể và muốn crawl trên một website dựa trên khả năng phục vụ của máy chủ cùng nhu cầu crawl của Google.
Crawl Budget là gì? Blog vài nghìn URL có thật sự cần tối ưu không?
Crawl Budget là lượng URL Google có thể và muốn crawl trên website. Nha tìm hiểu khi nào crawl budget thật sự là vấn đề, cách kiểm tra bằng Search Console và vì sao blog nhỏ không nên tối ưu một căn bệnh mình chưa mắc.

Crawl Budget là gì? Khi nào website thật sự cần tối ưu ngân sách crawl

Crawl Budget là cách gọi lượng tài nguyên mà Google dành cho việc crawl một website trong một khoảng thời gian.

Theo cách Google hiện mô tả khái niệm này Crawl Budget được hình thành từ hai yếu tố chính:

Crawl Capacity Limit.

Và:

Crawl Demand.

Có thể hiểu ngắn gọn:

Google crawl những URL mà hệ thống có khả năng crawl và có nhu cầu crawl.

Hai điều kiện phải cùng tồn tại.

Máy chủ đủ khỏe nhưng Google không thấy cần crawl nhiều thì số request vẫn có thể thấp.

Ngược lại Google muốn crawl nhiều nhưng máy chủ phản hồi chậm hoặc liên tục lỗi thì Google có thể giảm tốc độ crawl.

Crawl Capacity Limit là giới hạn khả năng Google có thể crawl một host mà không gây quá tải cho hệ thống của website.

Google theo dõi sức khỏe của máy chủ.

Nếu server phản hồi nhanh và ổn định Google có thể tăng khả năng crawl.

Nếu response time tăng mạnh hoặc website liên tục trả về lỗi như 5xx hoặc HTTP 429 hệ thống có thể giảm crawl rate.

Google không muốn việc crawl làm website của mình sập.

Crawl Demand lại trả lời một câu hỏi khác:

Google có muốn crawl những URL đó hay không?

Demand có thể bị ảnh hưởng bởi:

Số lượng URL Google biết.

Tần suất nội dung thay đổi.

Chất lượng và giá trị của nội dung.

Mức độ phổ biến.

Độ cũ của phiên bản Google đang có.

Và những thay đổi lớn như site migration.

Server mạnh không tự động tạo ra Crawl Budget lớn.

Đây là điểm khá dễ hiểu sai.

Tăng server capacity chỉ giải quyết phía capacity.

Nếu Google không có đủ crawl demand thì crawler cũng không có lý do để liên tục tải thêm URL.

Crawl Budget không phải quota cố định được Google cấp mỗi ngày.

Không nên hình dung Google phát cho website:

10.000 lượt crawl hôm nay.

Dùng hết thì ngày mai mới được cấp thêm.

Hệ thống crawl động hơn nhiều.

Capacity và demand có thể thay đổi theo thời gian.

Không phải website nào cũng cần tối ưu Crawl Budget.

Đây có lẽ là điều quan trọng nhất cần nhớ.

Google cho biết việc quản lý Crawl Budget là vấn đề nâng cao chủ yếu đáng quan tâm với những website rất lớn website thay đổi dữ liệu nhanh hoặc website có rất nhiều URL được phát hiện nhưng chưa được crawl.

Một blog vài trăm hoặc vài nghìn URL thường không cần dành hàng tuần để tính xem Googlebot đã crawl bao nhiêu request.

Nếu Google vẫn khám phá và crawl các bài mới trong khoảng thời gian hợp lý thì có thể website chưa có vấn đề Crawl Budget đáng kể.

Đừng biến Crawl Budget thành bệnh SEO tưởng tượng.

Bài không được index chưa chắc vì hết Crawl Budget.

Có thể Google chưa tìm thấy URL tốt.

Có thể internal link yếu.

Có thể canonical sai.

Có thể nội dung trùng.

Có thể URL không đủ giá trị để index.

Có thể robots.txt chặn crawl.

Có thể server gặp vấn đề.

Hoặc Google đã crawl nhưng chưa chọn index.

Crawling và Indexing là hai bước khác nhau.

Googlebot crawl được URL không có nghĩa URL chắc chắn được index.

Google còn phải xử lý nội dung canonicalization đánh giá giá trị và quyết định liệu URL có phù hợp để đưa vào index hay không.

Vì vậy tăng số lần Googlebot crawl không đảm bảo tăng số URL được index.

Crawl nhiều hơn cũng không đồng nghĩa rank cao hơn.

Ranking là câu chuyện khác.

Crawl chỉ là một phần của pipeline.

Có thể hình dung:

Discovery.

Crawling.

Rendering khi cần.

Indexing.

Ranking.

Đừng nhập năm bước thành một.

Một trong những nguyên nhân gây lãng phí Crawl Budget lớn nhất là URL inventory không được kiểm soát.

Website có thể tạo hàng loạt URL từ:

Filter.

Sort.

Faceted Navigation.

Session ID.

Search result nội bộ.

Calendar.

Parameter.

Pagination sai.

Infinite spaces.

Hoặc các biến thể URL không mang thêm giá trị.

Google biết càng nhiều URL vô ích thì crawler càng phải dành tài nguyên để xử lý chúng.

Đây là lý do URL architecture quan trọng hơn những mẹo Crawl Budget nhỏ lẻ.

Nếu website vô tình sinh ra hàng triệu URL parameter thì việc tối ưu vài millisecond response time chưa chắc giải quyết vấn đề gốc.

Phải hỏi trước:

Tại sao những URL này tồn tại?

Duplicate Content cũng làm crawl kém hiệu quả.

Nếu nhiều URL thực chất đại diện cùng một nội dung Google phải khám phá crawl và xử lý thêm các bản sao.

Giải pháp tốt thường là làm rõ URL chính.

Có thể thông qua:

URL architecture.

Redirect.

Canonical.

Internal link nhất quán.

Và loại bỏ nguồn tạo duplicate khi có thể.

Canonical không phải công cụ chặn crawl.

Google thường vẫn cần crawl các URL để nhìn thấy canonical và đánh giá mối quan hệ giữa các trang.

Vì vậy đừng hiểu:

Có canonical thì Google sẽ không bao giờ crawl URL phụ.

Không đúng.

Canonical chủ yếu giúp consolidation và xác định representative URL.

robots.txt có thể dùng để ngăn Google crawl những URL không cần crawl.

Ví dụ:

Không gian URL vô hạn.

Một số filter hoặc sort URL không có giá trị cho Search.

Resource không quan trọng.

Nhưng cần dùng cẩn thận.

robots.txt kiểm soát crawling.

Nó không phải công cụ chính để yêu cầu Google xóa một URL khỏi index.

URL bị robots.txt chặn vẫn có thể được Google biết thông qua link từ nơi khác.

Không nên bật tắt robots.txt liên tục chỉ để “chuyển Crawl Budget”.

Google hiện nói rõ robots.txt nên được dùng cho những URL hoặc resource mà mình thật sự không muốn crawler truy cập trong thời gian dài.

Nó không phải chiếc van mở hôm nay đóng ngày mai để điều tiết Googlebot.

Và có một nuance quan trọng.

Chặn một nhóm URL không có nghĩa lượng crawl vừa tiết kiệm chắc chắn được Google chuyển sang những URL mình thích.

Điều đó chỉ có ý nghĩa rõ khi website thực sự đang chạm Crawl Capacity Limit.

Nếu demand thấp thì Google không bắt buộc phải dùng phần capacity còn lại.

noindex cũng không phải công cụ tối ưu Crawl Budget.

Muốn nhìn thấy meta noindex Google thường phải crawl URL trước.

Nghĩa là request vẫn xảy ra.

Google sau đó mới thấy noindex và loại URL khỏi khả năng xuất hiện trong Search.

Nếu mục tiêu thật sự là:

Google đừng crawl nhóm URL này.

thì noindex không giải quyết trực tiếp bài toán đó.

Nhưng cũng không nên robots.txt một URL rồi kỳ vọng Google đọc được noindex bên trong.

Nếu crawler không được phép tải trang thì nó không thể nhìn thấy meta robots trong HTML.

Hai công cụ phục vụ hai mục tiêu khác nhau.

URL đã bị xóa nên trả đúng HTTP status.

Nếu nội dung không còn tồn tại vĩnh viễn có thể trả:

404.

Hoặc:

410.

Google xem đây là tín hiệu mạnh rằng URL không còn tồn tại và giảm việc crawl lại theo thời gian.

Soft 404 cần tránh.

Đó là trường hợp trang thực tế không còn nội dung nhưng server vẫn trả:

200 OK.

Ví dụ trang hiện thông báo:

Không tìm thấy sản phẩm.

Nhưng HTTP response vẫn là 200.

Google phải tiếp tục xử lý một URL trông như trang hợp lệ.

Đây vừa gây khó cho indexing vừa làm crawling kém hiệu quả.

Redirect chain cũng tiêu tốn thêm crawling.

Ví dụ:

A → B → C → D.

Tốt hơn nếu có thể sửa thành:

A → D.

Internal link cũng nên trỏ thẳng tới D.

Đừng bắt crawler đi du lịch vòng quanh website.

Sitemap giúp Google khám phá và ưu tiên URL quan trọng.

Sitemap nên chứa những URL mà website thực sự muốn Google crawl và có khả năng index.

Đặc biệt nên:

Giữ sitemap cập nhật.

Dùng canonical URL.

Không nhét URL rác.

Và sử dụng lastmod chính xác khi nội dung thật sự thay đổi đáng kể.

Sitemap không tạo Crawl Budget.

Nó cũng không bắt Google crawl toàn bộ URL bên trong.

Sitemap là tín hiệu giúp discovery.

Không phải lệnh.

Đừng submit sitemap liên tục để “ép Google crawl”.

Nếu file không thay đổi việc gửi lại nhiều lần trong ngày không biến website thành ưu tiên cao hơn.

Giải quyết URL architecture và content thường quan trọng hơn việc bấm Submit thêm lần nữa.

Internal Link cũng ảnh hưởng cách Google khám phá website.

Một bài quan trọng nhưng nằm sâu không có internal link đáng kể có thể khó được crawler phát hiện hoặc đánh giá mức độ quan trọng.

Website nên tạo đường crawl rõ ràng từ:

Homepage.

Category.

Topic hub.

Related article.

Breadcrumb.

Không nên chỉ phụ thuộc sitemap.

Server performance có vai trò trong Crawl Capacity.

Nếu server phản hồi nhanh và ổn định Google có thể sử dụng nhiều connection hơn khi có crawl demand.

Nếu server chậm hoặc thường trả 5xx và 429 Google có thể giảm crawl.

Vì vậy Technical SEO và infrastructure đôi khi gặp nhau đúng ở Crawl Budget.

Nhưng làm website nhanh hơn không đảm bảo Google crawl nhiều hơn.

Nếu nội dung ít hoặc crawl demand thấp thì Google không cần tăng số request.

Performance tốt tạo capacity.

Demand vẫn phải tồn tại.

Rendering cũng có chi phí.

Một website phụ thuộc nhiều vào JavaScript và resource nặng có thể cần thêm công việc xử lý.

Google hiện lưu ý cả thời gian response lẫn thời gian tải và chạy embedded resources đều ảnh hưởng hiệu quả crawl.

Do đó nên tránh bắt crawler tải những resource lớn không cần thiết để hiểu nội dung.

Nhưng đừng chặn CSS hoặc JavaScript quan trọng chỉ để giảm request.

Nếu resource cần thiết để Google render và hiểu trang thì chặn nó có thể gây hậu quả ngược.

Tiết kiệm request nhưng làm Google hiểu sai trang không phải tối ưu.

HTTP Caching có thể giúp.

Google hiện khuyến nghị website hỗ trợ:

304 Not Modified.

Nếu tài nguyên chưa thay đổi server có thể báo để crawler dùng lại phiên bản đã có thay vì tải toàn bộ nội dung.

Điều này tiết kiệm bandwidth và tài nguyên máy chủ.

Last-Modified và caching cần phản ánh thay đổi thật.

Không nên đổi timestamp toàn bộ website mỗi lần deploy nếu nội dung thực tế không thay đổi.

Crawler cần tín hiệu đáng tin.

Crawl Stats trong Google Search Console là nơi quan trọng để kiểm tra hành vi crawl.

Có thể xem:

Tổng số crawl requests.

Response codes.

File type.

Googlebot type.

Host availability.

Average response time.

Nhưng đừng chỉ nhìn số request tăng hay giảm rồi kết luận SEO đang tốt hoặc xấu.

Crawl nhiều không phải KPI kinh doanh.

Điều cần hỏi là:

Google có đang crawl những URL quan trọng không?

URL mới có được phát hiện không?

URL thay đổi có được recrawl trong thời gian phù hợp không?

Crawler có đang lãng phí request vào URL vô giá trị không?

Server có đang gặp vấn đề không?

Đó mới là những câu hỏi hữu ích.

Server Log là nguồn dữ liệu rất mạnh khi phân tích crawling.

Search Console cho bức tranh tổng quan.

Log server cho biết request cụ thể.

Có thể phân tích:

URL nào Googlebot crawl?

Bao lâu một lần?

Status code gì?

Googlebot dành nhiều request cho directory nào?

Có crawl parameter URL bất thường không?

Những URL quan trọng có bị bỏ quên không?

Với website lớn đây thường là cách phân tích crawl thực tế hơn việc đoán từ Search Console.

Phải xác minh Googlebot khi phân tích log.

User-Agent có thể bị giả mạo.

Không nên mặc định mọi request tự nhận là Googlebot đều đến từ Google.

Discovered - currently not indexed là một tín hiệu đáng xem khi nghiên cứu Crawl Budget.

Trạng thái này có nghĩa Google biết URL nhưng chưa crawl URL đó.

Nếu website có tỷ lệ lớn URL ở trạng thái này Crawl Budget hoặc crawl prioritization có thể đáng điều tra hơn.

Nhưng vẫn không nên kết luận:

Discovered = hết Crawl Budget.

Còn nhiều nguyên nhân khác.

Crawled - currently not indexed lại là trường hợp khác.

Google đã crawl URL.

Nhưng hiện chưa đưa URL vào index.

Trong trường hợp này tăng Crawl Budget thường không giải quyết vấn đề cốt lõi.

Google đã tới rồi.

Câu hỏi chuyển sang chất lượng nội dung canonical duplication và indexing decision.

Đây là distinction cực kỳ quan trọng.

Discovered:

Google biết nhưng chưa đọc.

Crawled:

Google đã đọc nhưng hiện chưa cất vào index.

Hai tình trạng cần hai hướng điều tra khác nhau.

Faceted Navigation là nơi Crawl Budget thường trở thành vấn đề thật.

Ví dụ một website thương mại điện tử có:

Màu.

Size.

Thương hiệu.

Giá.

Sort.

Availability.

Mỗi combination tạo một URL.

10 filter có thể nhanh chóng sinh ra số lượng URL rất lớn.

Nhiều URL có thể gần như giống nhau.

Nếu crawler đi theo tất cả combination thì website có thể tạo một URL space gần vô hạn.

Đây là vấn đề kiến trúc.

Không phải vấn đề cần một plugin “Optimize Crawl Budget”.

Website thương mại điện tử và marketplace thường đáng quan tâm hơn blog nhỏ.

Product filter.

Sort URL.

Internal search.

Tracking parameter.

Session parameter.

Inventory thay đổi liên tục.

đều có thể làm URL inventory tăng rất nhanh.

News website cũng có bài toán riêng.

Nội dung mới xuất hiện liên tục và freshness quan trọng.

Điều đáng quan tâm không chỉ là Google crawl bao nhiêu.

Mà là bài mới và bài cập nhật có được crawler phát hiện đủ nhanh hay không.

Hostname cũng là một chi tiết kỹ thuật đáng nhớ.

Trong tài liệu Crawl Budget hiện tại Google xem mỗi hostname là một site riêng cho mục đích tính crawl budget.

Ví dụ:

www.example.com

và:

media.example.com

được xử lý như hai hostname riêng.

Điều này đặc biệt đáng quan tâm khi website sử dụng nhiều subdomain.

CDN cũng có thể ảnh hưởng hành vi crawling trong quá trình chuyển đổi.

Khi website mới chuyển sang CDN cache còn chưa được làm nóng.

Crawler request có thể đi xuyên tới origin.

Nếu CDN phản hồi rất nhanh hệ thống crawl có thể nhận thấy host có capacity tốt hơn và tăng request.

Điều này có thể tạo một đợt tải bất ngờ lên origin nếu cấu hình chưa phù hợp.

Vì vậy infrastructure change cũng nên theo dõi Crawl Stats và server load.

Crawl Budget Optimization tốt thường khá nhàm.

Không có nút thần kỳ.

Phần lớn công việc là:

Giảm URL rác.

Consolidate duplicate.

Sửa soft 404.

Giảm redirect chain.

Giữ sitemap sạch.

Internal link tốt.

Server ổn định.

Cache hợp lý.

Và tạo nội dung đủ giá trị để Google có lý do quay lại.

Đừng tối ưu Crawl Budget trước khi chứng minh website có vấn đề Crawl Budget.

Đầu tiên hãy hỏi:

Website có bao nhiêu URL thật?

Google biết bao nhiêu URL?

Googlebot đang crawl những đâu?

URL quan trọng có bị chậm crawl không?

Có URL explosion không?

Có nhiều Discovered - currently not indexed không?

Server có chạm capacity không?

Nếu tất cả đều ổn thì có thể Crawl Budget chưa phải việc đáng dành thời gian.

SEO luôn có chi phí cơ hội.

Một giờ ngồi tối ưu Crawl Budget cho blog 500 URL có thể kém giá trị hơn một giờ sửa 30 bài trùng intent hoặc cập nhật 10 bài đã lỗi thời.

Đó cũng là một phần của Technical SEO.

Biết vấn đề nào không cần sửa.

Nếu chỉ nhớ một điều về Crawl Budget tôi sẽ nhớ:

Crawl Budget không phải số lượt Google cho phép mình dùng. Nó là kết quả của việc Google có thể crawl bao nhiêu và thực sự muốn crawl bao nhiêu.

Tag Crawl Budget tổng hợp các bài viết và kiến thức về khả năng crawl Crawl Demand Googlebot URL inventory server log Crawl Stats faceted navigation duplicate URL sitemap robots.txt và cách giúp Google dành tài nguyên crawl cho những URL thực sự quan trọng.

Giới thiệu

Tìm kiếm Google

Liên kết

Mạng thư viện
Quà tặng con gái và con trai
Dotgrid Planner 2023
Mua hàng tại amazone
Bàn phím cơ