Googlebot

Googlebot là trình thu thập dữ liệu của Google dùng để truy cập nội dung trên web và là một mắt xích quan trọng trong quá trình crawling rendering và indexing.
JavaScript SEO là gì? Google render được JavaScript rồi, Next.js và SPA còn phải lo gì?
Google đã render được JavaScript bằng Chromium, nhưng website Next.js và SPA vẫn có thể gặp lỗi crawl, render và index. Nha giải thích JavaScript SEO, SSR, CSR, canonical, noindex, client-side routing và cách kiểm tra Google thực sự nhìn thấy gì.
Crawl Budget là gì? Blog vài nghìn URL có thật sự cần tối ưu không?
Crawl Budget là lượng URL Google có thể và muốn crawl trên website. Nha tìm hiểu khi nào crawl budget thật sự là vấn đề, cách kiểm tra bằng Search Console và vì sao blog nhỏ không nên tối ưu một căn bệnh mình chưa mắc.
robots.txt là gì? Chặn Google crawl không có nghĩa là chặn Google index
robots.txt giúp quản lý URL mà crawler được phép truy cập nhưng không phải công cụ để xóa trang khỏi Google. Nha chia sẻ cách dùng Disallow, Allow, Sitemap, noindex và những cập nhật robots.txt mới nhất 2026.
Bản tin SEO kỹ thuật tháng 09/2026: Google đã thay đổi gì trong 6 tháng qua?
Tổng hợp những cập nhật SEO kỹ thuật quan trọng của Google trong 6 tháng gần đây: Core Update, Spam Update, AI Mode, AI Overviews, Search Console, Googlebot, canonical, structured data, llms.txt và hướng dẫn website nên điều chỉnh gì trong năm 2026.

Googlebot là gì? Cách Google thu thập dữ liệu website

Googlebot là trình thu thập dữ liệu của Google được sử dụng để truy cập các tài nguyên trên web phục vụ những hệ thống của Google trong đó có Google Search.

Nói đơn giản Googlebot là một trong những cách Google đi tới website và lấy nội dung về xử lý.

Nhưng cần phân biệt ngay từ đầu:

Googlebot crawl một trang không có nghĩa trang đó chắc chắn được index.

Và được index cũng không có nghĩa trang chắc chắn có thứ hạng cao.

Đây là ba bước khác nhau.

Crawling.

Indexing.

Ranking và serving.

Googlebot chủ yếu liên quan tới bước crawling.

Google có thể khám phá URL từ nhiều nguồn.

Internal link.

External link.

XML Sitemap.

Những URL Google đã biết trước đó.

Và những nguồn khám phá khác.

Sau khi biết một URL Google có thể đưa URL đó vào hệ thống crawl.

Googlebot gửi request tới server.

Server trả lại HTTP response.

Response có thể chứa HTML hình ảnh JavaScript CSS hoặc những loại tài nguyên khác.

Google sau đó xử lý những dữ liệu nhận được.

Một cách đơn giản có thể hình dung:

Discover URL → Crawl → Render khi cần → Process → Index nếu phù hợp → Serve trong Search khi phù hợp.

Đây không phải một pipeline đảm bảo URL sẽ đi tới bước cuối.

Mỗi bước đều có thể có những điều kiện riêng.

Googlebot Smartphone và Googlebot Desktop là hai dạng User-Agent mà quản trị viên có thể gặp trong server log.

Googlebot Smartphone mô phỏng môi trường thiết bị di động.

Googlebot Desktop mô phỏng môi trường desktop.

Không nên hiểu đây là hai search engine khác nhau.

Chúng là những dạng crawler của Googlebot.

Với website hiện đại khả năng crawl và render trên mobile đặc biệt đáng quan tâm.

Nội dung quan trọng không nên chỉ tồn tại trong phiên bản desktop mà biến mất ở mobile.

Tương tự structured data canonical internal link và những thành phần quan trọng khác cần được kiểm tra trên phiên bản mà Google có thể truy cập.

User-Agent là chuỗi giúp server biết loại client đang gửi request.

Googlebot có User-Agent riêng.

Nhưng chỉ nhìn chuỗi User-Agent không đủ để xác minh request thật sự đến từ Google.

Một bot khác hoàn toàn có thể tự khai:

Googlebot

trong User-Agent của nó.

Vì vậy nếu đang phân tích bảo mật server hoặc firewall không nên whitelist một request chỉ vì tên User-Agent có chữ Googlebot.

Cần sử dụng phương pháp xác minh request của Google phù hợp.

robots.txt có quan hệ rất chặt với Googlebot.

Trước khi crawler tự động của Google crawl website nó có thể đọc và áp dụng các quy tắc robots.txt phù hợp.

Ví dụ:

User-agent: Googlebot

Disallow: /private-area/

có thể được sử dụng để yêu cầu Googlebot không crawl khu vực đó.

Nhưng robots.txt kiểm soát crawling.

Nó không phải công cụ chính để yêu cầu một URL không được index.

Đây là một điểm rất dễ nhầm.

Một URL bị robots.txt chặn vẫn có thể được Google biết tới từ những nguồn khác.

Vì vậy:

Disallow không đồng nghĩa noindex.

Nếu muốn Google đọc meta robots noindex thì Google phải có khả năng crawl trang để nhìn thấy directive đó.

Chặn crawling rồi đặt noindex trong HTML có thể khiến Googlebot không đọc được noindex.

Googlebot và XML Sitemap cũng có vai trò khác nhau.

Sitemap giúp Google khám phá hoặc hiểu những URL mà website muốn cung cấp.

Googlebot là crawler có thể truy cập các URL đó.

Đưa một URL vào sitemap không đảm bảo Googlebot sẽ crawl ngay.

Và càng không đảm bảo URL được index.

Sitemap là một tín hiệu khám phá.

Không phải lệnh index.

Internal Link là một con đường rất quan trọng để crawler khám phá website.

Nếu một trang chỉ tồn tại trong sitemap nhưng không có internal link nào trỏ tới thì cấu trúc website có thể đang cho thấy trang đó ít được tích hợp vào site.

Một website có kiến trúc internal link rõ giúp cả người dùng lẫn crawler di chuyển giữa các nội dung liên quan.

Đây là lý do orphan page đáng được kiểm tra.

HTTP Status Code cũng ảnh hưởng cách Google xử lý request.

Server nên trả đúng status cho từng tình huống.

Trang hoạt động bình thường thường trả 200.

Redirect trả status redirect phù hợp.

Trang không tồn tại nên trả 404 hoặc trạng thái phù hợp với trường hợp thực tế.

Không nên trả 200 cho mọi URL rồi hiển thị thông báo “không tìm thấy”.

Điều này có thể tạo ra soft 404 và làm hệ thống khó hiểu hơn.

Rendering đặc biệt quan trọng với website sử dụng JavaScript.

HTML trả về ban đầu có thể chưa chứa đầy đủ nội dung mà người dùng nhìn thấy.

Google có thể cần render trang và thực thi JavaScript để tạo nội dung cuối cùng.

Vì vậy cần phân biệt:

HTML response.

và:

Rendered HTML.

Hai phiên bản có thể khác nhau.

Nếu title nội dung internal link structured data hoặc product information chỉ xuất hiện sau JavaScript thì cần kiểm tra Google có render được chúng hay không.

Google hiện cho biết các trang trả HTTP 200 được đưa vào hàng đợi rendering trừ trường hợp có chỉ thị robots phù hợp và việc render có thể diễn ra sau bước crawl.

Với response không phải 200 việc render có thể không diễn ra.

Điều này làm HTTP status trở thành một phần rất quan trọng của JavaScript SEO.

CSS và JavaScript cần thiết không nên bị robots.txt chặn một cách tùy tiện.

Nếu Googlebot cần những tài nguyên đó để render trang thì việc chặn chúng có thể làm Google nhìn thấy một phiên bản không đầy đủ.

Trước khi block thư mục asset cần hiểu chính xác thư mục đó chứa gì.

Lazy Loading cũng cần được triển khai theo cách crawler có thể khám phá tài nguyên cần thiết.

Không nên phụ thuộc hoàn toàn vào những thao tác mà crawler khó thực hiện như click button hoặc scroll theo một logic đặc biệt để mới tạo URL quan trọng.

Content quan trọng nên có cách truy cập rõ ràng.

Infinite Scroll cũng cần được thiết kế cẩn thận.

Người dùng có thể scroll liên tục.

Nhưng crawler cần URL có thể khám phá và crawl được.

Nếu toàn bộ trang tiếp theo chỉ xuất hiện sau một chuỗi interaction mà không có URL crawlable thì Google có thể không khám phá đầy đủ nội dung.

Faceted Navigation là một bài toán lớn với crawler trên website thương mại điện tử.

Một danh mục có thể tạo ra rất nhiều tổ hợp:

Màu.

Giá.

Kích thước.

Thương hiệu.

Sort.

Location.

Nếu mọi tổ hợp đều tạo URL crawlable thì URL space có thể tăng cực nhanh.

Googlebot có thể dành tài nguyên vào những URL ít giá trị.

Giải pháp không chỉ là robots.txt.

Cần xem cả:

Cách sinh URL.

Internal linking.

Canonical.

nofollow khi phù hợp.

robots.txt.

Và mục tiêu indexing.

Crawl Budget thường được nhắc cùng Googlebot.

Nhưng không phải website nào cũng cần ám ảnh crawl budget.

Website nhỏ với vài nghìn URL thường có vấn đề quan trọng hơn cần xử lý trước.

Ví dụ:

Page quality.

Internal linking.

Canonical.

Duplicate content.

HTTP errors.

Hay pages không có giá trị để index.

Với website rất lớn crawl budget mới trở thành bài toán đáng theo dõi kỹ hơn.

Server Performance cũng ảnh hưởng hoạt động crawling.

Nếu server thường xuyên timeout hoặc trả lỗi 5xx Googlebot không thể lấy nội dung ổn định.

Không nên chỉ kiểm tra SEO ở HTML.

Infrastructure cũng là Technical SEO.

Server log rất hữu ích để biết Googlebot thực sự đang làm gì.

Trong log có thể phân tích:

Googlebot crawl URL nào.

Tần suất crawl.

Status code.

Response time.

Những thư mục nào được crawl nhiều.

Những URL quan trọng nào hiếm khi được crawl.

Và crawler có bị mắc vào URL parameter hay không.

Đây là dữ liệu thực tế.

Search Console cho ta một góc nhìn.

Server log cho ta góc nhìn khác.

Kết hợp cả hai thường hữu ích hơn.

Googlebot trong log cũng cần được xác minh.

Không nên search chuỗi Googlebot rồi mặc định tất cả request đó là Google thật.

User-Agent có thể bị spoof.

Với phân tích nghiêm túc cần xác minh nguồn request bằng phương pháp Google hướng dẫn.

Google Search Console có thể hỗ trợ kiểm tra một URL cụ thể.

URL Inspection giúp xem Google biết gì về URL và có thể hỗ trợ kiểm tra phiên bản được crawl hoặc render.

Nhưng request indexing không phải nút:

Đưa tôi lên Google ngay.

Nó chỉ là yêu cầu Google xem xét crawl lại URL.

Google vẫn quyết định việc crawling indexing và serving theo hệ thống của mình.

Google-InspectionTool cũng cần phân biệt với Googlebot.

Google sử dụng Google-InspectionTool cho các công cụ kiểm tra như URL Inspection và Rich Results Test.

Request từ công cụ test không có nghĩa Googlebot Search thông thường vừa crawl URL đó.

Đây là điểm hữu ích khi đọc server log.

Googlebot Image là crawler liên quan đến hình ảnh.

Nếu muốn hình ảnh có khả năng được Google xử lý thì tài nguyên hình ảnh cần có khả năng được crawler phù hợp truy cập.

Block hình ảnh bằng robots.txt có thể ảnh hưởng khả năng Google sử dụng chúng trong các bề mặt tìm kiếm liên quan đến hình ảnh.

Điều này đặc biệt quan trọng với website có CDN riêng.

Ví dụ trang HTML nằm ở:

www.example.com

nhưng hình ảnh nằm ở:

media.example.com

thì robots.txt và khả năng crawl của host hình ảnh cũng cần được kiểm tra.

Không nên chỉ kiểm tra robots.txt của domain HTML.

Mỗi host có phạm vi robots.txt riêng.

Googlebot Video phục vụ các trường hợp crawling liên quan tới video.

Website có video quan trọng cần bảo đảm crawler có khả năng truy cập những tài nguyên cần thiết.

Nhưng không nên vì vậy mở toàn bộ mọi thư mục cho crawler.

Nguyên tắc vẫn là:

Cho crawler truy cập những gì cần thiết để hiểu nội dung mà website muốn xuất hiện trong Search.

Googlebot News cũng tồn tại trong hệ thống crawler của Google với các lựa chọn crawling liên quan tới Google News.

Không phải website thông thường nào cũng cần cấu hình rule riêng cho Googlebot-News.

Chỉ tạo rule riêng khi có lý do thực sự.

robots.txt càng phức tạp càng dễ cấu hình nhầm.

GoogleOther cũng không nên bị gọi chung là Googlebot.

Google có nhiều crawler và fetcher khác nhau phục vụ những mục đích khác nhau.

Nhìn thấy một request từ Google không đồng nghĩa nó là Googlebot Search.

Đây là lý do cần đọc đúng User-Agent và tài liệu tương ứng.

Google-Extended lại là một trường hợp khác.

Nó không phải một HTTP crawler riêng như Googlebot.

Đây là token điều khiển được dùng trong robots.txt cho một số mục đích liên quan đến hệ thống generative AI của Google.

Google nói rõ Google-Extended không ảnh hưởng việc một website được đưa vào Google Search và không phải ranking signal của Google Search.

Vì vậy:

Googlebot và Google-Extended không phải một thứ.

Điểm này ngày càng quan trọng khi thảo luận SEO AEO GEO và AI crawler.

Không nên gom mọi bot của Google thành một nhóm rồi cấu hình theo cảm tính.

Googlebot không đọc website giống một người.

Nó gửi request theo hệ thống crawler.

Nó không ngồi nhìn menu rồi quyết định click như người dùng.

Website vì vậy cần có architecture rõ.

Link phải crawlable.

URL phải ổn định.

Status phải chính xác.

robots.txt phải đúng.

JavaScript không được che mất content quan trọng.

Đây là những yếu tố giúp crawler hiểu website.

Crawlable không đồng nghĩa Indexable.

Trang có thể crawl hoàn toàn bình thường nhưng không được index.

Nguyên nhân có thể liên quan đến:

Canonical.

Duplicate.

Noindex.

Content.

Page quality.

Hoặc cách Google xử lý URL.

Vì vậy khi một URL không index không nên lập tức kết luận:

Googlebot không crawl được.

Cần xác định URL đang vướng ở bước nào.

Ví dụ Search Console báo:

Discovered currently not indexed.

Điều này khác:

Crawled currently not indexed.

Trường hợp đầu Google biết URL nhưng chưa crawl.

Trường hợp sau Google đã crawl nhưng hiện chưa index.

Cách điều tra vì vậy cũng khác.

Frequency crawling cũng không phải ranking factor theo cách đơn giản.

Website được Googlebot crawl thường xuyên hơn không có nghĩa tự động xếp hạng cao hơn.

Crawl frequency chịu ảnh hưởng bởi nhiều yếu tố như mức độ thay đổi nội dung khả năng server và nhu cầu crawling của hệ thống.

Không nên cố tạo thay đổi giả chỉ để dụ Googlebot quay lại.

Googlebot đến nhiều không phải KPI cuối cùng của SEO.

Mục tiêu là nội dung quan trọng được khám phá crawl xử lý và index đúng.

Không phải tạo thật nhiều request từ bot.

Một website sinh ra hàng triệu URL filter có thể khiến Googlebot crawl rất nhiều.

Đó không phải thành công.

Có thể là dấu hiệu URL space đang mất kiểm soát.

JavaScript framework như React Next.js Vue hoặc Angular không tự động tốt hay xấu cho Googlebot.

Điều quan trọng là output thực tế.

Googlebot có thể truy cập URL không?

Server trả status gì?

HTML ban đầu có gì?

Rendering có tạo content không?

Internal link có crawlable không?

Canonical có đúng không?

Không nên đánh giá SEO chỉ dựa trên tên framework.

SSR hoặc pre-rendering có thể giúp đưa nội dung quan trọng vào HTML response sớm hơn.

Điều này có thể cải thiện cả performance và khả năng xử lý của crawler.

Nhưng SSR không tự động sửa mọi lỗi SEO.

Một trang server-rendered với canonical sai vẫn sai.

Một trang static với internal link kém vẫn khó được khám phá.

Googlebot cũng cần được xem trong checklist go-live.

Trước và sau deployment nên kiểm tra:

Production robots.txt.

Noindex.

Canonical.

HTTP status.

XML Sitemap.

Rendering.

Internal link.

CSS và JavaScript.

Firewall.

CDN.

WAF.

Và server response.

Một website có thể hoạt động hoàn hảo với người dùng nhưng firewall lại chặn Googlebot.

Ngược lại cũng không nên mở firewall cho mọi request tự xưng Googlebot.

Cần xác minh crawler đúng cách.

Monitoring sau go-live quan trọng không kém checklist trước go-live.

Có thể theo dõi:

Crawl Stats.

Server log.

Indexing report.

Sitemap.

Organic visibility.

Và những URL quan trọng.

Technical SEO không kết thúc lúc deploy.

Deploy mới là lúc hệ thống thật bắt đầu chạy.

Một quy trình điều tra Googlebot có thể đi theo thứ tự:

URL có được khám phá không → robots.txt có cho crawl không → server trả status gì → Googlebot có request không → resource có tải được không → trang có render đúng không → canonical và robots directive có đúng không → Google có index không.

Cách này giúp tránh nhảy thẳng tới kết luận.

Ví dụ URL không index.

Không nên lập tức request indexing 20 lần.

Cần tìm xem vấn đề nằm ở discovery crawling rendering indexing hay chính chất lượng URL.

Trước khi kết luận Googlebot có vấn đề nên hỏi:

URL này có crawlable không?

robots.txt có chặn không?

Server có trả 200 ổn định không?

WAF có chặn bot không?

Googlebot có lấy được CSS và JavaScript cần thiết không?

HTML và rendered HTML khác nhau thế nào?

URL có internal link không?

Sitemap có khai báo không?

Canonical trỏ đi đâu?

Có noindex không?

Google đã crawl nhưng quyết định chưa index hay chưa?

Càng tách rõ từng bước việc debug SEO càng bớt cảm tính.

Googlebot không phải một ông khách khó tính bí ẩn đi dạo website.

Nó là crawler.

Website gửi tín hiệu kỹ thuật rõ thì việc điều tra cũng rõ hơn.

Tag Googlebot tổng hợp các bài viết và kiến thức về crawler của Google crawling robots.txt rendering JavaScript server log crawl budget Googlebot Smartphone Googlebot Image và cách kiểm tra khả năng Google truy cập website trong Technical SEO.

Giới thiệu

Tìm kiếm Google

Liên kết

Mạng thư viện
Quà tặng con gái và con trai
Dotgrid Planner 2023
Mua hàng tại amazone
Bàn phím cơ