IIS日志是我們分析站點近況的關(guān)鍵數(shù)據(jù)，是我們制定

一：IIS的重要性

1：通過站點的IIS日志我們可以了解搜索引擎對我們站點的爬行情況，包括搜索引擎的爬行軌跡和爬行量，進而分析出我們建設(shè)的外鏈對爬行的影響，我們把外鏈形容為搜索引擎蜘蛛進入我們站點的入口，同時IIS記錄則會記錄下搜索引擎蜘蛛從入口爬入的記錄。

2：通過IIS日志可以體現(xiàn)出站點的空間存在著某些目前外表所不能識別的錯誤，而這些錯誤可以第一時間由IIS日志反映出來。我們可以通過日志及早的發(fā)現(xiàn)問題并解決問題。

3：站點的更新頻率與搜索引擎的抓取頻率存在著一定的關(guān)系，一般來說，更新的頻率高則搜索引擎爬行得越勤。我們可以利用IIS日志中的搜索引擎爬行頻率進行內(nèi)容更新的微調(diào)。

4：同時通過IIS日志我們可以分析出我們的內(nèi)容中，有什么是搜索引擎所青睞的，什么是搜索引擎正眼不瞧的。通過這些數(shù)據(jù)進行內(nèi)容的微調(diào)。

 

二：站點IIS日志獲取及設(shè)置的注意事項

1：站點的IIS日志一般是在weblog（LOG）文件中，我們可以直接從這一文件中獲取站點的日志文件。

2：同時我們需要注意的是，筆者建議日志的生產(chǎn)我們最好設(shè)置成每小時一次。如果是站點內(nèi)容較少的中小型站點可以設(shè)置為一天。如果我們的內(nèi)容很多，設(shè)置為一天生成一次的話，那么日志文件就可能會出現(xiàn)文件過大的情況。

三：IIS日志分析

1：對日志文件的解體分析

 

我們可以使用記事本打開日志文件，同時Ctrl+F搜索其中的BaiduSpider和Googlebot這兩個搜索引擎蜘蛛 。如下圖所示

 

百度蜘蛛

 

 

谷歌蜘蛛

我們可以分段進行分析

2012-04-5 00:47:10 是指搜索引擎蜘蛛爬行這個頁面的時間點

116.255.109.37 這個地址是指我們站點的IP地址

GET 代表事件 ，位于其后的是蜘蛛爬行的頁面，而/代表的是首頁。

220.187.51.144 這一IP是指搜索引擎蜘蛛的服務(wù)器的IP地址。而這一地址有時并不是真正的搜索引擎蜘蛛的IP地址，那么我們?nèi)绾螀^(qū)分呢？筆者就分享自己的一個方法。我們可以打開

 

真蜘蛛

 

 

假蜘蛛

 

 

而為什么會出現(xiàn)加的蜘蛛IP呢？那時因為有人冒充搜索引擎蜘蛛到你的站點對你的內(nèi)容進行采集。而如果有過度的采集將會消耗你的主機資源。對此我們可以根據(jù)之一假的IP進行屏蔽他們。

200 0 0是狀態(tài)碼，不同的狀態(tài)碼有著不同的意思，如200表示下載成功，500表示服務(wù)器超時等等。這些在一定程度上反映著我們主機的狀況。

2：我們可以通過日志分析出蜘蛛爬行最頻繁的幾個頁面，記錄下來，并且分析出他們被搜索引擎蜘蛛青睞的原因。?

3：有時候我們的URL地址不統(tǒng)一出現(xiàn)URL地址帶斜杠和不帶斜杠的問題，搜索引擎蜘蛛會自動識別為301跳轉(zhuǎn)到帶斜杠的頁面，這里我們就發(fā)現(xiàn)了搜索引擎是可以判斷我們的目錄的，所以我們要對我們的URL進行統(tǒng)一。?

4：搜索引擎蜘蛛對于我們站點頁面的抓取是根據(jù)權(quán)重的遞減分等級的，一般順序為首頁、目錄頁、內(nèi)頁。?