跳到主要內容

發表文章

目前顯示的是 1月, 2010的文章

一個關於robots.txt的重要問題

大約一年多前,我在網站上用了一個robots.txt,內容如下: User-Agent: * Allow: / 原本在Google和Yahoo!奇摩的自然排序都有在前十名 但大約幾個月前,Yahoo!奇摩裡的排序忽然消失了 當初我有寫E-mail給Yahoo!奇摩的客服,但客服總是保持著專業(?)的樣版式回答 所以就跟沒有回答一樣,後來我不斷地推薦網站給Yahoo!奇摩 但始終沒有效果... 就在這幾天我發現了一個驚人的事實 Yahoo!奇摩的robots.txt說明裡並沒有Allow這個項目 所以我google了一下robots.txt的說明 因為robots.txt是一種約定俗成的產物,它並沒有人規範這個格式 Allow這個項目似乎只有Google可以接受 以上是我個人的推論,如果過幾天網站再被抓到 大概就可以確定這個事實了...