上午调研某个关键词时,我在搜索结果首页看到一条 PDF 文档记录。这个细节勾起了我的好奇心:搜索引擎算法到底是怎么处理这类 PDF 文件的?
毕竟相较传统的 HTML 页面,PDF 里的信息对算法来说理解起来要费劲不少。
这让我想起之前提到过的一个目录站,它的业务模式就是集中分享各类品牌、型号电器的使用说明书与维修手册。这些资料恰好都是 PDF 格式,直接铺在网站上,倒也收获了不少长尾流量。带着这个疑问,我开始研究搜索引擎算法是如何处理网站里 PDF 文档的。
“And what we do is we are not using a PDF viewer. …What we are doing in Search is we have a component called a converter. And the converter component is part of what happens in indexing. It happens right after rendering and right before something potentially makes it into the index.”
Martin Splitt 这段话的大意是:算法并不是把 PDF 当作阅读器里的原始文件来理解,而是先通过一个叫“转换器”(converter)的组件,将其转换成类似 HTML 的格式,再交给后续索引系统处理。
这基本意味着:PDF 里的可读取文字与链接能够被搜索引擎识别,其中的链接也能像普通网页链接一样被正常跟踪。
不过从技术视角看,这种转换不一定能完整还原 PDF 的所有细节,比如图片处理就相当棘手。
还有一个我至今没找到官方解释的疑问:PDF 文件的体积大小,是否会影响到索引阶段的“转换”过程?毕竟绝大多数场景下,PDF 比 HTML 大不少。如果 PDF 文件体积超过某个阈值,转换器是否就会停止工作?(HTML 内容抓取里也有类似爬虫预算的限制)
综合这些信息,眼下至少可以明确两点。
- 算法能够正常处理 PDF 的内容索引,也能对内容进行合理的分词与排名。
- 转换过程难免存在瑕疵,因此 PDF 远不如 HTML 那样容易被算法完全理解。
这两点给我的启发是:页面内容最好以 HTML 为主;如果非要引入 PDF,不妨让它承担辅助说明的角色。毕竟 HTML 在不同屏幕与设备上浏览体验更好,用户点击、导航和继续阅读都更顺畅。
以我目前运营的家具零售网站为例,商品详情页可以用常规内容模式来承载与商品相关的信息,比如长描述、短描述、场景问答、客户评价等。如果确实有必要,再用 PDF 呈现家具的组装步骤和维护说明,以提高整个页面的信息密度。
|