标签：robots

科技动态

Google开源robots.txt解析器

大概这是七月初最重要的一条有关搜索引擎行业的新闻，Google公司，力推REP为互联网标准，并且把自己的robots.txt解析器在Github上开源了。 robots.txt，源自于1994年的时候，Martijn Koster(一个网站站长)在被蜘蛛过度抓取网站后，自行创建的一个初始标准，随着越来越多的网站站长的补充，追随，Rebots Exclusio……