但实际上这一点也是行不通的。
前世为了打击，百度就曾使用robots协议白名单，禁止抓取百度百科、百度贴吧和百度知道的内容，而谷歌、bg、搜狗和搜搜等搜索引擎还可以自由抓取。
认为百度对robots协议的使用具有歧视性而拒绝遵守，百度也因此起诉不遵守robots协议。
本来robots协议作为行业通用守则，虽然不具备明确的法律效力，但是依然非常具有参考价值，百度觉得赢面很大。
但双方对簿公堂后，由于百度难以“证明竞争对手的行为具有不正当性”，无法支持采取针对性限制爬虫措施的正当性，所以最终没能借助法律手段达到阻拦的目的。
年月日法院对百度诉案做出的一审判决回百度有关不正当竞争的诉求，判定其必须修改爬虫协议。
同时，法院认为强制采用网页快照，已经超出网页快照的合理范围，违反了反不正当竞争法，因而判决向百度赔偿万元。
陆道升知道采用robots协议白名单的方式最终不会有效果，也没有兴趣辛苦嘉盛的法务部累死累活就弄个万的赔偿回来，比起流量损失真不够塞牙的。
还是直接采取反爬虫机制来从根子上保护自家的内容比较靠谱。
至于说反爬虫机制会不会影响自家搜索引擎的爬取，嘿嘿。
说完反爬虫后又讲了一会儿，陆道升完成了对主要想法的说明，坐下喝了口水润了润喉咙。
“呼……”
“我今天就说这些吧，下面谁还有事情想说的？”
一直以来高层会议发言最少的张小龙居然率先开口了。
“道升，我有个事想讨论一下……”
。