如果你的網(wǎng)站發(fā)生一些問題，我們可以通過網(wǎng)站日志查看搜索引擎蜘蛛對網(wǎng)站訪問的具體情況來找到一些答案。今天網(wǎng)域動力與大家分享一下自己平時的做法，希望能對大家有幫助。

查看搜索引擎蜘蛛爬行總次數(shù)

　　一個網(wǎng)站的收錄首先要搜索引擎蜘蛛來到網(wǎng)站爬去才能夠?qū)崿F(xiàn)。通過查看日志能夠清楚的看到每天蜘蛛訪問網(wǎng)站的總次數(shù)有多少，從而大致的判斷唐山網(wǎng)站制作的權(quán)重如何。一個高權(quán)重的網(wǎng)站，蜘蛛來訪的次數(shù)相對是較多的，相反，一個低權(quán)重的網(wǎng)站，即使有非常龐大規(guī)模的內(nèi)容，蜘蛛來訪的次數(shù)依舊有限。爬行次數(shù)有限，分配的時間和深度也就有限，所以收錄也就受到了限制。所以我們的重點就是多提供百度來訪我們網(wǎng)站的入口，只有入口多了，訪問次數(shù)才能得到提升。

　　查看所有被爬行目錄的整體情況

　　通過日志查看所有被爬行目錄的整體情況，能讓我們知道搜索引擎爬行最多的目錄是哪些，是否是我們想要提供給用戶的目錄。一般可以非常清楚的看到排名前十位的目錄，如果這些目錄并不是我們重點提供給用戶內(nèi)容的目錄，那么就需要做出調(diào)整，說明當前的一些目錄被多度爬行了，而真正有價值的目錄沒有被搜索引擎過度重視，要及時發(fā)現(xiàn)并找到原因。

　　查看爬行榜前十名的頁面情況

　　除了查看蜘蛛總訪問次數(shù)以及爬行目錄的整體情況，剩下一個非常重要的就是查看爬行總頁面的情況。我平時分析網(wǎng)站的時候，時常會看到，被蜘蛛爬行前幾名的頁面都是一些無關緊要的頁面，比如B2C購物車鏈接頁面、比如聯(lián)系我們頁面、一些主題中CSS文件，這些頁面和文件對排名和收錄本來沒有實際的幫助，但現(xiàn)實情況是蜘蛛爬行的最多，所以就會造成浪費，畢竟蜘蛛來訪一個網(wǎng)站的總時間和總爬行次數(shù)是一定的，總抓取深度也是一定的，如果時間都浪費在了這些頁面上，那么對于重點的內(nèi)頁收錄就會受到影響。因此通過日志發(fā)現(xiàn)之后，就需要在robots.txt中屏蔽掉，或者在頁面meta中屏蔽掉。

　　查看平均爬行一次的抓取深度

　　通過日志查看平均一次的抓取深度能有效的了解到唐山網(wǎng)站設計內(nèi)部結(jié)構(gòu)的不足。比如百度蜘蛛在某天訪問網(wǎng)站總共688次，抓取量是789，那么平均每次抓取的頁面數(shù)就為1.2頁。其實這個數(shù)據(jù)也是普遍存在的現(xiàn)象，很多網(wǎng)站都存在這樣的現(xiàn)象。這充分說明了網(wǎng)站的內(nèi)部鏈接做的不足，或者網(wǎng)站結(jié)構(gòu)存在問題，或者是內(nèi)容出現(xiàn)了高度重復現(xiàn)象，導致蜘蛛來到網(wǎng)站，要么沒有什么新發(fā)現(xiàn)，要么被結(jié)構(gòu)所阻止，爬行不到新的頁面。畢竟，蜘蛛平均在我們網(wǎng)站存在的整體時間是有限的，在這個有限的時間內(nèi)，如果我們自己設置了障礙，那么蜘蛛就會走掉，是非常可惜的事情。