搜索引擎工作的流程是非常復(fù)雜的，今天碧鑫設(shè)計(jì)介紹在蜘蛛在對網(wǎng)頁進(jìn)行爬行和抓取過程中，對我們網(wǎng)站優(yōu)化有重要影響的幾個(gè)部分。

      當(dāng)搜索引擎蜘蛛準(zhǔn)備爬行某個(gè)網(wǎng)頁的時(shí)候，會(huì)對服務(wù)器發(fā)出訪問申請，申請通過后，搜索引擎會(huì)先去爬行網(wǎng)站的robots.txt文件，針對robots.txt文件中所禁止搜索引擎抓取的部分，搜索引擎將不會(huì)去抓取。接著服務(wù)器就會(huì)給搜索引擎返回當(dāng)前頁面的html代碼，現(xiàn)在有很多的站長工具中都會(huì)有模仿蜘蛛抓取網(wǎng)頁代碼的功能，大家有興趣可以去查詢，這里值得注意的就是頁面代碼中漢字所占的比例，因?yàn)樗阉饕嬖陬A(yù)處理階段會(huì)把漢字部分篩選出來分析網(wǎng)頁的內(nèi)容和關(guān)鍵詞，漢字所占比例越多說明網(wǎng)頁返回的有效信息越多，越有利于搜索引擎對頁面的分析。這也就是為什么大家在編寫網(wǎng)站代碼的時(shí)候，會(huì)對CSS和Javascript代碼進(jìn)行外部調(diào)用，對圖片要添加alt屬性，對鏈接要添加title屬性的緣故，都是為了降低頁面代碼所占的比例，提高文字所占比例，當(dāng)然相關(guān)性也是一方面。

      搜索引擎爬行網(wǎng)頁都是沿著鏈接進(jìn)行爬行的，在爬行網(wǎng)頁的時(shí)候并不是一個(gè)蜘蛛在爬行，一般都是由多個(gè)蜘蛛進(jìn)行爬行，爬行的方式有兩種，一種是深度爬行，一種是廣度爬行，兩種方式都可以爬遍一個(gè)網(wǎng)站的所有鏈接，通常都是兩種方式并行的，但實(shí)際上由于資源的限制，搜索引擎并不會(huì)爬遍一個(gè)網(wǎng)站的所有鏈接。

      既然搜索引擎不可能爬遍整個(gè)網(wǎng)站的所有鏈接，那么我們seoer接下來的工作就是要吸引蜘蛛盡可能多的去爬行網(wǎng)站鏈接，為蜘蛛的爬行創(chuàng)造輕松便利的環(huán)境，尤其是針對一些重要的鏈接。

      如何去吸引蜘蛛呢？影響蜘蛛爬行的因素有哪些呢？

      1.網(wǎng)站的權(quán)重。一個(gè)權(quán)重高的網(wǎng)站，蜘蛛往往會(huì)爬行的很深，關(guān)于如何提高網(wǎng)站的權(quán)重，大家可以去參考狄吉堂網(wǎng)站seo博客中的影響網(wǎng)站權(quán)重計(jì)算的因素有哪些和如何提高網(wǎng)站權(quán)重的五種方式兩篇文章。

      2.頁面是否經(jīng)常更新。這是一個(gè)老生常談的問題了，雖然網(wǎng)站的更新和維護(hù)工作異常的辛苦，但是沒辦法，人家搜索引擎就喜歡新鮮的血液，如果網(wǎng)站的更新比較勤快的話，搜索引擎自然來的也勤快，來的多了，新鏈接被抓取的幾率當(dāng)然也就大了。

      3.高質(zhì)量導(dǎo)入鏈接。一個(gè)頁面的導(dǎo)入鏈接相當(dāng)于頁面的入口，原理很簡單，導(dǎo)入鏈接多了，搜索引擎進(jìn)入你網(wǎng)頁的渠道也就多了，如果是一條高質(zhì)量的導(dǎo)入鏈接，那么搜索引擎對網(wǎng)頁鏈接爬行的深度也會(huì)增加。

      4.與首頁距離越近的鏈接，被爬行的幾率越大。一個(gè)網(wǎng)站的首頁是權(quán)重最高的，那么距離它越近的頁面，被賦予的權(quán)重也會(huì)越高，被蜘蛛爬行的幾率當(dāng)然越大，這是網(wǎng)站seo優(yōu)化中常用到的一個(gè)就近原理，可以應(yīng)用到很多方面，比如網(wǎng)站的主導(dǎo)航中第一個(gè)欄目比最后一個(gè)欄目的權(quán)重高，距離錨文本越近的文字是搜索引擎重點(diǎn)照顧的地方等等。

      當(dāng)搜索引擎對頁面進(jìn)行抓取之后，會(huì)將頁面中的鏈接解析出來，通過與地址庫中的鏈接進(jìn)行匹配對比分析，將沒有進(jìn)行爬行的新鏈接放入到待訪問地址庫，然后派出蜘蛛對新鏈接進(jìn)行爬行。

      在搜索引擎對網(wǎng)頁進(jìn)行爬行和抓取的時(shí)候，并不是進(jìn)行簡單的爬行和抓取工作，而是同時(shí)并發(fā)有大量的其他操作，其中很重的一項(xiàng)工作就是對網(wǎng)頁內(nèi)容進(jìn)行檢測，通過截取網(wǎng)頁上的內(nèi)容與數(shù)據(jù)庫中的信息做對比，如果是一些權(quán)重比較低的網(wǎng)站出現(xiàn)大量轉(zhuǎn)載或者偽原創(chuàng)，可能蜘蛛爬行到一半就會(huì)離開，這也就是為什么通過網(wǎng)站日志看到有蜘蛛來，但是頁面沒被收錄的原因。所以說，即使是進(jìn)行偽原創(chuàng)，也是需要一定的技巧的，除非你的網(wǎng)站權(quán)重特別高。