标签：抓取
谷歌搜索即将启用HTTP/2 方式抓取网页内容
国外谷歌站长透露，Google搜索即将从今年11月份开始小范围启用HTTP/2 方式抓取网站内容，爬行web页面时效率更高，不影响网站搜索排名。 了解到，HTTP/ 是基于 SPDY，专注于性能一种网络传输协议，相比HTTP/1新增，二进制分帧，多路复用等功能特性，正式使用 HTTP/2 方式抓取之后，最大特点就是支持一个目标在用户和网站间只用一个连接，G……
01-04 立刻查看
阿里推出在线文档平台语雀：支持搜索引擎抓取
阿里推出在线文档平台“语雀”，意欲重新定义在线文档，打造新一代 Office。 语雀是阿里在 2015 年自己内部研发的一个在线文档平台，此前仅对阿里内部员工开放 ，今年 12 月 8 日才正式对公众开放，目前仅支持网页端和小程序。 语雀相关负责人表示：相比石墨文档和有道云笔记等其他在线文档平台，语雀新增加了知识库，免费博客、画板评论、讨论区等……
01-04 立刻查看
站长吐槽：头条搜索爬虫暴力抓取网站内容
最近有站长在网上发文吐槽表示，字节跳动为了快速发展搜索业务派出爬虫四处抓取网站内容，给中小网站主们造成了很大的损失和困扰，影响了网站正常的用户访问。 该站长表示，今年7月份，他突然发现公司的网站经常性打不开，网页加载极其缓慢，有时甚至直接瘫痪。经过一系列排查后，在服务器日志上发现了bytespider爬虫的痕迹。该爬虫抓取的频率每天……
01-04 立刻查看