密切留意搜狗蜘蛛

麦子

近日发现网站流量飙升，开始以为是访客多造成的，但是查看流量数据之后才发现：在访客增加的同时，搜索引擎也在抓取更多的流量。尤其以搜狗最多最明显，然而搜狗的收录量却不高。

从今天开始每日记录搜狗动态，预备随时屏蔽搜狗蜘蛛。

日期	前一日搜狗蜘蛛占用流量（点击数）	收录量	比较
2011-3-27	653.4M（78,873）	236	百度的为128.9M（98,263）收录2380
2011-3-30	696.6M（83,688）	265	百度的为139.2M（106,173）收录2390
2011-3-31	722.1M（86,271）	343	百度的为145.4M（111,187）收录2410
2011-4-1	750.6M（89,256）	360	百度的为150.8M（116,357）收录2570
2011-4-2	34.2M（3,596）昨天写了邮件给搜狗	365	百度的为5.5M（5,575）收录2540
2011-4-3	63.7（6,802）	347	百度的为10.8M（11,136）收录2560
2011-4-6	151.3（15,845）	328	百度的为26.4M（26,933）收录2550
2011-4-13	361.8（38,411）	407	百度的为61.2M（59,788）收录2710
2011-4-18	490.8（51,748）	457	百度的为81.3M（74,163）收录3010
2011-4-19	520.2（54,894）初步限制搜狗抓取频率	456	百度的为85.8M（76,845）收录2980
2011-4-25	644.1（69,793）	491	百度的为106.7M（90,781）收录2970
2011-4-27	751.7（82,731）今晚完全屏蔽了搜狗及不知名引擎	424	百度的为125.4M（103,371）收录3000
2011-4-28	779.9（86,096）	473	百度的为127.8M（105,663）收录3270
2011-4-29	780.1（86,110）	473	百度的为129.4M（107,458）收录
2011-4-30	780.3（86,122）		百度的为129.4M（107,460）收录
2011-5-1	226.8K（15）	460	百度的为1.4K（2）收录3220
2011-5-2	241.7k（15）	458	百度的为4.2k（7）收录3210
2011-5-3	436.9k（28）	458	百度的为1.4M（306）收录3190
2011-5-4	622.7k（41）	458	百度的为9.8M（1,927）收录3170
2011-5-5	776.9k（50）		百度的为9.7M（4,804）收录
2011-5-6	952.3k（61）		百度的为21.3M（6,659）收录
2011-5-7			百度的为9.8M（1,927）收录

Michael

蜘蛛        点击数                 带宽                 上次访问        Robots.txt         
baiduspider        103,371        29.4%        125.4M        5.4%        27 4 '11 23:59        39        1.0%
sogou        82,713        23.5%        751.7M        32.1%        27 4 '11 23:59        107        2.8%
googlebot        54,331        15.5%        386.9M        16.5%        27 4 '11 23:59        40        1.0%
bot[ :,\.\;\/\\-]        54,306        15.5%        421.6M        18.0%        27 4 '11 23:59        126        3.3%
bspider        19,001        5.4%        108.2M        4.6%        27 4 '11 23:51        5        0.1%
slurp        16,799        4.8%        266.4M        11.4%        27 4 '11 23:44        99        2.6%
spider        7,425        2.1%        142.8M        6.1%        27 4 '11 22:56        250        6.5%
robot        6,154        1.8%        47.2M        2.0%        26 4 '11 20:06        8        0.2%
unknown        2,745        0.8%        1.8M        0.1%        27 4 '11 23:35        2,745        71.7%
mj12bot        2,338        0.7%        45.9M        2.0%        27 4 '11 19:04        89        2.3%
[ :,\.\;\/\\-]bot        825        0.2%        13.2M        0.6%        26 4 '11 11:04        106        2.8%
nutch        501        0.1%        9.7M        0.4%        22 4 '11 07:59        4        0.1%
java        267        0.1%        7.9M        0.3%        27 4 '11 07:09        0        0.0%
speedy        139        0.0%        4.1M        0.2%        27 4 '11 19:25        64        1.7%
msiecrawler        106        0.0%        567.9k        0.0%        26 4 '11 18:16        5        0.1%
msnbot\-media        92        0.0%        208.4k        0.0%        27 4 '11 21:32        83        2.2%
wordpress        84        0.0%        20.6k        0.0%        25 4 '11 12:38        0        0.0%
soso        81        0.0%        5.1M        0.2%        27 4 '11 18:00        0        0.0%
yandex        73        0.0%        1.0M        0.0%        27 4 '11 17:40        27        0.7%
gigabot        44        0.0%        2.2M        0.1%        27 4 '11 23:38        22        0.6%
jbot        25        0.0%        92.1k        0.0%        19 4 '11 14:53        0        0.0%
ia_archiver        14        0.0%        238.7k        0.0%        15 4 '11 13:21        6        0.2%
cfnetwork        7        0.0%        101.6k        0.0%        24 4 '11 08:28        0        0.0%
python        7        0.0%        173.0k        0.0%        21 4 '11 23:02        0        0.0%
powermarks        6        0.0%        263.0k        0.0%        24 4 '11 21:54        0        0.0%
surveybot        4        0.0%        46.6k        0.0%        17 4 '11 23:55        2        0.1%
heritrix        4        0.0%        127.6k        0.0%        19 4 '11 21:49        0        0.0%
psbot        3        0.0%        98.7k        0.0%        19 4 '11 20:09        1        0.0%
larbin        3        0.0%        17.1k        0.0%        1 4 '11 23:47        1        0.0%
htmlparser        2        0.0%        17.7k        0.0%        22 4 '11 11:41        0        0.0%
ichiro        2        0.0%        100.1k        0.0%        2 4 '11 21:21        1        0.0%
commons\-httpclient        1        0.0%        100.2k        0.0%        26 4 '11 19:43        0        0.0%