跳到主要內容

一個關於robots.txt的重要問題

大約一年多前,我在網站上用了一個robots.txt,內容如下:
User-Agent: *
Allow: /

原本在Google和Yahoo!奇摩的自然排序都有在前十名
但大約幾個月前,Yahoo!奇摩裡的排序忽然消失了
當初我有寫E-mail給Yahoo!奇摩的客服,但客服總是保持著專業(?)的樣版式回答
所以就跟沒有回答一樣,後來我不斷地推薦網站給Yahoo!奇摩
但始終沒有效果...

就在這幾天我發現了一個驚人的事實
Yahoo!奇摩的robots.txt說明裡並沒有Allow這個項目
所以我google了一下robots.txt的說明
因為robots.txt是一種約定俗成的產物,它並沒有人規範這個格式
Allow這個項目似乎只有Google可以接受

以上是我個人的推論,如果過幾天網站再被抓到
大概就可以確定這個事實了...

留言

這個網誌中的熱門文章

MySQL Latin1亂碼

今天在更新資料庫的時候,發生了亂碼事件 因為我是把虛擬主機的資料備份出來,載入我電腦裡的資料庫 虛擬主機的MySQL編碼是Latin1,而我是設成utf8_unicode_ci 所以載入之後,不管在phpMyAdmin或是網頁呈現都是亂碼 後來爬文之後,看到有很多辦法解決,但我後來打開備份的sql文件 看到了這幾行字 /*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */; /*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */; /*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */; /*!40101 SET NAMES latin1 */; 我試著把它刪除,然後再載入我的資料庫 結果....就搞定了...@.@!