高负载的网站必须考虑机器人对负载的影响
（2006年3月6日） 回首页
BaiDuSpider这个机器人非常变态。
对于一个中小型站点，一日的pv访问10000。这几乎是好几个spider无间隔的对站点进行随机访问。
如果你网站中存在会导致高负载的比较脆弱的页面，当心了，当baiduspider连续不停访问这些页面时，将给服务器造成许多额外压力。
例如，dvbbs（动网先锋论坛，asp的）的会员列表页是个查询非常慢的页面，大约执行时间比帖子正文页要慢上40倍，有时会达到1秒之久。尤其是首次访问，sql没有缓冲时。
类似这种脆弱的页面存在是程序最大的隐患。同时10个进程在高带宽下对其进行访问，便很容易导致sql服务器当机。
这种薄弱环节如果被当作攻击手段来使用，危害就非常大了。这也就是为什么cc攻击目前非常流行的原因之一。
另外,不要迷信"搜索不会并发访问"的谎言,根据日志记录,BaiDuSpider这个无耻的机器人就是并发访问的.