SEO收錄網站設定
robots.txt 和網站地圖要不要做？中小企業的最小設定
這兩個檔案沒有畫面、訪客看不到，卻能決定整個網站在不在搜尋結果裡。它們也是我看過最常設錯的地方：開發時把整站封鎖，上線後沒改回來，網站就這樣安靜地消失好幾個月。好消息是兩個都很簡單，看懂之後五分鐘就能確認自己有沒有問題。
1. 兩個檔案分別在做什麼
robots.txt 放在網域根目錄，是一份給爬蟲看的門禁規則，說明哪些路徑不要進。它是請求不是強制，正派的搜尋引擎會遵守，惡意程式不會，所以它不是安全機制。
網站地圖是一份目錄，列出你希望被收錄的網址，通常是一個 XML 檔。它不保證每一頁都會被收錄，但能讓搜尋引擎少花力氣找路，對頁數多、或內部連結不密的網站差別明顯。
自我檢查
- robots.txt 管的是「能不能進」，網站地圖管的是「有哪些頁」。兩件事不一樣，都要做。
- robots.txt 擋掉的頁面，就算寫在網站地圖裡也讀不到，兩邊會互相打架。
- robots.txt 不是隱藏內容的方法。不想被看到的東西要靠權限控制，寫在 robots.txt 裡反而等於公告那裡有東西。
2. 最小可用的設定長什麼樣
多數中小企業網站不需要複雜的規則。一個乾淨的 robots.txt 只要做兩件事：開放全站給搜尋引擎，並指出網站地圖在哪裡。
自我檢查
- 第一段寫 User-agent: * 接著 Allow: /，意思是所有爬蟲都可以讀全站。
- 最後一行寫 Sitemap: 加上你的網站地圖完整網址，讓爬蟲一進來就知道目錄在哪。
- 真的有不該被收錄的路徑再加 Disallow，例如後台登入頁、購物車、搜尋結果頁這類沒有收錄價值的動態頁。
- 想開放給 AI 引擎讀取的話，可以另外列出它們的名稱並開放。不列的話多數會套用 * 的規則。
網站地圖則建議在建置或發文流程中自動產生。手動維護的版本幾乎一定會過期，新增文章忘了加、改了網址忘了改，久了就變成一份會誤導搜尋引擎的清單。
3. 三種常見的設錯方式
下面三種是實際看過最多的，每一種都會讓網站在搜尋結果裡表現異常，但畫面上完全看不出來。
自我檢查
- 整站封鎖沒解除：開發階段常寫 Disallow: / 擋掉所有爬蟲，上線後忘了改。這一行的代價是整個網站搜不到，而且不會有任何錯誤訊息提醒你。
- 把樣式與程式檔案擋掉：有些舊教學建議封鎖這類目錄，但搜尋引擎需要它們才能正確渲染頁面，擋掉會影響行動裝置適用性的判斷。
- 網站地圖裡有錯的網址：含大量已刪除的頁面、或還是舊網域的網址。搜尋引擎讀到一堆讀不到的連結，會降低對這份清單的信任。
4. 怎麼自己驗證
兩個檔案都是公開的，不需要任何工具就能檢查。花五分鐘做完下面四件事，就能確認自己沒踩到上面的坑。
自我檢查
- 在瀏覽器打開 你的網域/robots.txt。看得到內容代表檔案存在，找找看有沒有 Disallow: / 這一行。
- 打開 你的網域/sitemap.xml，確認裡面的網址是現在的網址、數量跟你的實際頁數接近。
- 在 Search Console 的網站地圖報告看上次讀取時間與讀到的網址數，跟你自己數的對不對得起來。
- 用網址審查工具貼幾個重要頁面，確認沒有被封鎖。
5. 網站地圖要不要放不重要的頁面
網站地圖不是把所有網址塞進去就好。它同時也在表達「這些是我認為值得收錄的頁面」，所以放進去的東西要對得起這句話。
自我檢查
- 只放你希望出現在搜尋結果的頁面。標籤頁、分頁列表、感謝頁這類通常不必放。
- 已經刪除或轉址的網址要移除，留著只會製造讀取失敗。
- 有中英文版本的話，可以在同一份地圖裡標明語言對應，讓搜尋引擎知道它們是同一個內容的不同版本。
- 更新時間欄位要誠實。每次都填今天而內容沒改，久了會被忽略。
這兩個檔案的特性是平常沒感覺、錯了很致命。上線前確認一次，之後只要在改版或換網域時再看一眼就好。如果你的網站已經上線一段時間卻搜不到，這裡是最值得先查的地方。
常見問題
- 小網站只有五頁，也需要做網站地圖嗎？
- 頁數少、而且每一頁都從首頁連得到的話，沒有網站地圖也會被找到，影響不大。但它成本很低，做了可以在 Search Console 看到讀取狀態，等於多一個檢查點。如果站上有從首頁點不到的頁面，那就一定要做。
- robots.txt 可以用來擋掉不想被看到的頁面嗎？
- 不行，而且會有反效果。robots.txt 是公開檔案，任何人都能打開來看，把敏感路徑寫進去等於公告那裡有東西。真的不想被看到要靠登入權限或伺服器層級的存取控制；不想被收錄但可以公開的頁面，用 noindex 標記比較正確。
- 改了 robots.txt 之後多久生效？
- 搜尋引擎會定期重新讀取這個檔案，通常一天內就會拿到新版本。在 Search Console 可以查看它最後讀到的內容，確認生效了沒。解除封鎖之後，頁面重新被收錄還要再等一段時間，不會立刻回來。