前面咱们的网站制作常识库中讲到了spider的用处,介绍了常用spider的称号和spider在搜索引擎中的工作方法。详细请阅览《spider知多少》一文。今日咱们来讲讲如何运用spider的匍匐情况分析网站SEO情况。这个能记载spider匍匐情况的文件即是网站日志文件。
网站日志包括着对网站所有拜访记载,包括人工阅读和蜘蛛抓取。这个网站日志可以自概念生成的项目上海网站制作通过网站日志剖析spider对网站的爬行状况拜访时刻、来访IP、拜访署理标识、拜访情况。其他的就不是有必要的了。由于大部分站长都专心于baidu搜索引擎里的排名,咱们就拿baiduspider为例说说不相同的spider对网站情况的不相同反映。
baiduspider名叫baiduspider或baiduspider2.0,与baidu图像蜘蛛Baiduspider-image,从网站日志里可以经过这两个名字来找到baidu蜘蛛。下面即是读取baidu蜘蛛的IP和拜访情况码。
123.125.68.*这个蜘蛛常常来,另外来的少,表明网站可以要进入沙盒了,或被者降权。
220.181.68.*天天这个IP 段只增不减非常有可以进沙盒或K站。
220.181.7.*、123.125.66.* 代表baidu蜘蛛IP拜访,预备抓取你东西。
121.14.89.*这个ip段作为度过新站考察期。
203.208.60.*这个ip段出现在新站及站点有不正常表象后。
210.72.225.*这个ip段不间断巡查各站。
125.90.88.* 广东茂名电信也归于baidu蜘蛛IP 最重要形成成分,是新上线站较多,还有运用过站长东西,或网站优化总结测试形成的。
220.181.108.95这个是baidu抓取主页的专用IP,如是220.181.108段的话,根本来讲你的网站会天天隔夜网站快照,一定错不了的,我确保。
220.181.108.92 同上98%抓取主页,可以还会抓取其他 (不是指内页)220.181段归于网站权重IP段此段爬过的文章或主页根本24小时放出来。
123.125.71.106 抓取内页录入的,网站权重较低,爬过此段的内页文章不会非常快放出来,因不是自创或采集文章。
220.181.108.91归于总结的,最重要抓取主页和内页或其他,归于网站权重IP 段,爬过的文章或主页根本24小时放出来。
220.181.108.75要素抓取更新文章的内页到达90%,8%抓取主页,2%其他。网站权重IP 段,爬过的文章或主页根本24小时放出来。
220.181.108.86专用抓取主页IP 网站权重段,一般回来代码是304 0 0 代表未更新。
123.125.71.95 抓取内页录入的,网站权重较低,爬过此段的内页文章不会非常快放出来,因不是自创或采集文章。
123.125.71.97 抓取内页录入的,网站权重较低,爬过此段的内页文章不会非常快放出来,因不是自创或采集文章。
220.181.108.89专用抓取主页IP 网站权重段,一般回来代码是304 0 0 代表未更新。
220.181.108.94专用抓取主页IP 网站权重段,一般回来代码是304 0 0 代表未更新。
220.181.108.97专用抓取主页IP 网站权重段,一般回来代码是304 0 0 代表未更新。
220.181.108.80专用抓取主页IP 网站权重段,一般回来代码是304 0 0 代表未更新。
220.181.108.77 专用抓主页IP 网站权重段,一般回来代码是304 0 0 代表未更新。
123.125.71.117 抓取内页录入的,网站权重较低,爬过此段的内页文章不会非常快放出来,因不是自创或采集文章。
220.181.108.83专用抓取主页IP 网站权重段,一般回来代码是304 0 0 代表未更新。
注上海网站制作通过网站日志剖析spider对网站的爬行状况上海网站制作通过网站日志剖析spider对网站的爬行状况推荐网址: