重點摘要
越來越多雇主會直接問 ChatGPT、Perplexity 這類 AI:「台中哪家仲介比較推薦?」AI 要把你的公司放進答案,前提是它的爬蟲讀得到你的官網。很多公司其實把門關著自己卻不知道。下面三個地方,打開瀏覽器五分鐘就能自己檢查。
一、robots.txt:有沒有把 AI 爬蟲擋在門外
在瀏覽器網址列輸入「你的官網網址/robots.txt」。如果看到下面這幾個名字,後面接著 Disallow: /,代表這個 AI 的爬蟲被整站擋掉:
- GPTBot:OpenAI 的爬蟲
- ClaudeBot:Anthropic 的爬蟲
- PerplexityBot:Perplexity 的爬蟲
另外常見的 Google-Extended 不影響 Google 搜尋排名,它決定的是你的內容能不能被用在 Google 的 AI 模型。這些設定有時是網站架設商預設加的,不確定的話,直接問你的架站廠商。
二、網站地圖:爬蟲找不找得到每一頁
輸入「你的官網網址/sitemap.xml」。打得開、裡面列著各頁網址,就是有網站地圖。沒有的話,爬蟲只能靠連結一頁一頁摸,服務項目、收費說明這些內頁很容易被漏掉。robots.txt 裡也可以用一行 Sitemap: 告訴爬蟲網站地圖在哪。
三、結構化資料:AI 能不能確定「你是誰」
結構化資料是寫給機器看的公司名片。把官網網址貼到 Schema.org 的檢查工具(validator.schema.org),看看有沒有 Organization,或專門給職業介紹機構用的 EmploymentAgency 類型,以及名稱、地址、電話是否完整。
順便核對一件事:官網上的公司名稱,跟勞動部許可名冊、Google 商家上的名稱是不是同一個。名字對不起來,AI 很難確定這幾個來源講的是同一家公司。
檢查完之後
- 門被擋住:請架站廠商調整 robots.txt,這通常是幾分鐘的事。
- 內容太少:把服務項目、收費方式、常見問答寫成清楚的頁面,問答用「問題+回答」的形式最容易被引用。
- 想看整體分數:IDAEO 的免費檢測(aeo.idaeo.ai)輸入官網就能拿到分數與改善任務,不用註冊。
結語
AI 會不會推薦你,沒有人能保證;但讓 AI 至少「讀得到、認得出」你的公司,是自己就能先做好的功課。