先描述問題,不要直接要求加一個標籤
收到「重複頁面」或「未建立索引」報告時,先問這個網址是否原本就應出現在搜尋結果。產品篩選、感謝頁、舊活動頁和主要服務頁的目的不同,即使工具顯示同一種狀態,也不一定需要同一項修復。負責人應先寫業務意圖,讓技術人員再選控制方法。
例如兩個追蹤網址顯示同一份產品資料,通常是在決定哪個版本代表內容;一個只供提交後閱讀的公開感謝頁,則可能不希望被搜尋找到。若是客戶專用報價資料,問題已涉及誰能閱讀,應交由存取權限控制,不能只靠搜尋設定處理。
先確認目標,再委派修復
這張表用於釐清需求,並非可直接套用到整站的設定。涉及大量網址時,先挑選數個真實樣本,讓開發者列出受影響範圍及可以回復的方式。
| 情境 | 需要決定的目標 | 交給技術人員的要求 |
|---|---|---|
| 同內容有追蹤參數版本 | 選擇首選內容網址 | 檢查 canonical、內鏈與 sitemap 是否一致 |
| 公開感謝頁不需搜尋展示 | 保留使用但排除索引 | 評估 noindex 並確認可被讀取 |
| 無價值參數造成大量擷取 | 控制爬取範圍 | 先盤點參數再評估 robots 規則 |
| 主要服務頁意外不收錄 | 恢復正常搜尋資格 | 查明 noindex、阻擋、狀態碼及內容問題 |
| 兩個不同產品被指向同頁 | 保留各自產品資訊 | 檢查錯誤 canonical 規則及模板 |
| 私人報價或會員內容 | 限制未授權閱讀 | 設登入與權限,不以搜尋標記代替 |
下載本文決策工作表(CSV) 可填入實際網址、負責人與處理結果;表內情境是規劃示例。
Canonical 是首選訊號,要核對內容關係
Google Search Central 的 canonical 文件將它用於重複或非常相似頁面的首選網址訊號。它不會把使用者自動送到另一頁,也不是把任何弱頁「加權」到主頁的工具。業務上明顯不同的產品或服務,不應只因文字短便全部指向首頁。
請開發者交付一張來源與目標對照表,另外抽查首頁、分類、產品、分頁及語言版本。目標必須確實代表來源內容;繁中頁也不能只因英文較完整而一律指向英文。驗收時同時看頁面設定與站內連結,避免標籤推薦一個網址、導覽和 sitemap 卻持續推另一個。
Google:設定首選網址(canonical)(英文) 支持 canonical 是相同或高度相似內容的首選網址訊號,以及內鏈、sitemap 等訊號應一致。
Noindex 要讓搜尋系統看得到才有作用
Google 的 noindex 文件指出,系統必須能擷取頁面,才能讀取頁內標記或回應標頭中的指令。若同時用 robots.txt 阻止擷取,便可能令 noindex 無法被讀到。因此,想移除已被收錄的公開頁面時,不能只要求兩個開關一起打開。
企業端可以驗收的是目標網址、設定位置、Google 可否存取,以及部署後的檢查記錄;搜尋結果何時改變仍需要後續擷取和處理。若網站剛從測試版上線,應抽查不同模板是否留下測試用 noindex,而不只看首頁。涉及 PDF 時,也請技術人員核對檔案回應標頭,避免只改了介紹頁。
Google:以 noindex 排除搜尋索引(英文) 支持 noindex 排除搜尋索引,以及 Google 必須能擷取頁面才能讀取該指令。
Robots.txt 管理爬取,不能保護機密資料
Google 的 robots.txt 說明指出,被阻擋擷取的網頁網址仍可能因其他連結而出現在搜尋結果。它也不會阻止一般訪客直接開啟網址。因此,內部價格、客戶文件或草稿的閱讀權限,應由登入與伺服器權限處理;不應放在公開目錄後才期待爬蟲規則保密。
若確實要減少無用參數的擷取,先要求一份規則影響清單:哪些查詢參數被攔、哪些正式分類必須保留,以及圖片、樣式或程式資源會否被誤擋。範圍廣的字元比對規則容易影響意料之外的網址,應在樣本中同時包括需要阻擋和需要放行的情況。
Google:robots.txt 入門(英文) 支持 robots.txt 管理爬取,不能作為網頁移除索引或私人資料存取控制。
用修復紀錄完成交接,而不只看報表變綠
一份可用的交接記錄應包含原始問題網址、頁面用途、修復前後設定、執行者、發布版本及抽查結果。請負責人確認內容決策,開發者確認實作,再由維護者保留後續檢查日期。若是 CMS 外掛產生的設定,也應記下在哪個後台欄位管理。
驗收後避免每天反覆改動規則。先確認部署一致,再觀察搜尋系統是否重新處理;報表中的歷史紀錄和目前頁面可能不同步。若結果與預期不符,回到實際網址重新檢查狀態、內容和控制訊號,不能因一個警告未消失便繼續疊加更多標籤。
資料來源與適用範圍
- Google:設定首選網址(canonical)(英文)developers.google.com
支持 canonical 是相同或高度相似內容的首選網址訊號,以及內鏈、sitemap 等訊號應一致。
- Google:以 noindex 排除搜尋索引(英文)developers.google.com
支持 noindex 排除搜尋索引,以及 Google 必須能擷取頁面才能讀取該指令。
- Google:robots.txt 入門(英文)developers.google.com
支持 robots.txt 管理爬取,不能作為網頁移除索引或私人資料存取控制。
