服務器開啟gzip后是否會影響蜘蛛抓取網(wǎng)站和蜘蛛的收錄量？
2014-09-24 瀏覽：150
服務器愛妻gzip壓縮，不會對spider抓取產(chǎn)生影響，我們會以壓縮的方式來抓取，并且也能夠節(jié)省站點的網(wǎng)絡流量。
正常情況下是有利無害的，但是服務器如果有問題gzip可能會導致百度抓取失敗，從而引發(fā)一系列問題。像硬防、GZP、CDN、DNS主動防御等，本身并沒有問題，但是技術出現(xiàn)錯誤就會出現(xiàn)各種問題，比如前段時間的新聞美橙互聯(lián)的DNS服務器檢測自動防御時，誤把百度蜘蛛IP當做惡意IP屏蔽了，導致客戶網(wǎng)站被K。所以站長在啟用相關功能時，一定要謹慎小心。