大約一年多前,我在網站上用了一個robots.txt,內容如下:
User-Agent: *
Allow: /
原本在Google和Yahoo!奇摩的自然排序都有在前十名
但大約幾個月前,Yahoo!奇摩裡的排序忽然消失了
當初我有寫E-mail給Yahoo!奇摩的客服,但客服總是保持著專業(?)的樣版式回答
所以就跟沒有回答一樣,後來我不斷地推薦網站給Yahoo!奇摩
但始終沒有效果...
就在這幾天我發現了一個驚人的事實
Yahoo!奇摩的robots.txt說明裡並沒有Allow這個項目
所以我google了一下robots.txt的說明
因為robots.txt是一種約定俗成的產物,它並沒有人規範這個格式
Allow這個項目似乎只有Google可以接受
以上是我個人的推論,如果過幾天網站再被抓到
大概就可以確定這個事實了...
User-Agent: *
Allow: /
原本在Google和Yahoo!奇摩的自然排序都有在前十名
但大約幾個月前,Yahoo!奇摩裡的排序忽然消失了
當初我有寫E-mail給Yahoo!奇摩的客服,但客服總是保持著專業(?)的樣版式回答
所以就跟沒有回答一樣,後來我不斷地推薦網站給Yahoo!奇摩
但始終沒有效果...
就在這幾天我發現了一個驚人的事實
Yahoo!奇摩的robots.txt說明裡並沒有Allow這個項目
所以我google了一下robots.txt的說明
因為robots.txt是一種約定俗成的產物,它並沒有人規範這個格式
Allow這個項目似乎只有Google可以接受
以上是我個人的推論,如果過幾天網站再被抓到
大概就可以確定這個事實了...
留言