搜索引擎原理图(搜索引擎的结构和原理)

前沿拓展:

搜索引擎原理图


全文搜索引擎的工作原理包括如下三个过程: 首先在互联中发现、搜集网页信息;即我们通常说的收录 同时对信息进行提取和组织建立索引库;再由检索器根据用户输入的查询关键字,在索引库中快速检出文档,进行文档与查询的相关度评价,对将要输出的结果进行排序, 通过搜索查询结果返回给用户。


谷歌通用搜索排名的工作原理大揭秘:搜索远不止竞价排名

导读

自从谷歌公司在2007年引入通用搜索功能以来,搜索引擎结果页( SERP )的内容变得越来越丰富。很多企业使用 SERP 让自己网站在Google搜索页面的排名更加靠前和显著。

而长期以来,谷歌算法及其排名因素背后的秘密一直是人们激烈争论的主题。在大部分时间中,其结果只有10个蓝色链接(即超链接),其争论的焦点是入站链接和关键字密度。而在事后看来,这似乎是纯真时代的一场“低配置”辩论。

通用搜索:点亮谷歌的火炬

随着2007年通用搜索的引入,谷歌搜索引擎中开始注入其他元素。该公司首位产品经理玛丽莎·梅耶尔当时说:“我们正试图打破以往将各种搜索属性分隔开来的壁垒,并将大量可用信息整合到一组简单的搜索结果中。”

谷歌的确一直在沿着这个方向前进。

2007 年以来, SERP 的内部变得越来越丰富,现在包含了大量的垂直领域——图像、视频、新闻、工作、地图等。

人们或许应该问的一个问题是,“谷歌到底是如何确定哪些元素可以出现在 SERP 之中的呢?”

2013 年,当 SERP 优化和管理专家 Jason Barnard 开始研究 SERP 时,开始考虑这个问题。他很快掌握了这 10 个蓝色链接的元素,当时很难同时囊括知识面板、视频框、Twitter 框和其他丰富的元素。

那么问题是:是什么触发了它们?需要“触发”哪些算法触发器才能让这些 SERP 功能出现?

终于,在 2019 年,谷歌公司技术专家 Gary Illyes 向 Jason Barnard 和澳大利亚很多 SEO 解释了通用搜索的机制。

重要的是,必应(Bing)公司已经证实了他们的通用搜索功能在很大程度上是以同样的方式实现的(必应公司的 Nathan Chalmers 的一些见解跟 Barnard 不谋而合),Gary Illyes 说: “这不是谷歌特有的功能。其他引擎也这样做,因为大多数搜索引擎对结果的排名方式几乎相同……这可能适用于每个搜索引擎。”

通用搜索排名:原理大揭秘1.排名因素是什么?

影响网站排名的因素很多,可能多达 200 个因素。但如今,由于算法是机器学习驱动的,所以事情变得更加复杂。 搜索引擎杂志发布了一份有用的指南,将这个复杂的主题分解为 88 个章节。

John Mueller 指出,谷歌的排名因素早已不止这 200 个。

谷歌将它们进行分组:话题性、质量、页面速度、RankBrain、实体、结构化数据、新鲜度……。

这里需要指出几点:

这些因素是真实排名因素(排名不分先后)。每个排名因素包括多个信号。例如,质量主要是 PageRank,但也包括其他信号,结构化数据不仅包括 Schema.org,还包括表格、列表、语义 HTML5,当然还有一些其他的因素。

谷歌为每个排名因素计算一条内容的分数:

谷歌通用搜索排名的工作原理大揭秘:搜索远不止竞价排名

需要记住的是,本文中的这些数字都是完全假设的。

2.排名因素如何影响竞价

谷歌采用个人排名因素得分并将它们组合起来计算总竞价。重要的是,总竞价是通过将这些分数相乘来计算的:

谷歌通用搜索排名的工作原理大揭秘:搜索远不止竞价排名

总分上限设置为 2^64 (虽然不是 100% 都是这样,这里参考了小麦和棋盘的数学问题,其中棋盘得出的数字严重偏离了范围,实际上是一种故障安全缓冲)。

这意味着这些分数可能是个位数、两位数、三位数,甚至四位数,而总数永远不会达到这个上限。

如此高的上限也意味着谷歌可以继续投入更多因素,而无需“降低”现有分数来为新分数腾出空间。

3.算法真实:低分扼杀竞价

事实上,总竞价是通过乘法计算的,这是一个惊人的发现。为什么?因为任何低于 1 分的分数都会严重影响其竞价,无论其他分数是多少。

看看下面的数字,就会知道受到多大的影响。因为只要有一个因素的分数低于 1,就足以使该页面失去竞争力。虽然可以用其他因素克服低于 1 的排名因素,但其他因素需要非常强大。因此,忽略薄弱因素是一个糟糕的策略,而努力使这个因素超过 1 是一个很好的策略。

谷歌通用搜索排名的工作原理大揭秘:搜索远不止竞价排名

因此,人们经常在搜索引擎优化(SEO)行业看到的“SEO”纠正的示例,往往是网站“简单地”纠正低于1分的排名因素。

谷歌通用搜索排名的工作原理大揭秘:搜索远不止竞价排名

系统奖励全面得分较高的页面。在某些因素上表现良好但在其他因素上表现不佳的页面将一直处于劣势。而如果采用一个平衡的方法会获胜。

行业专家在解释中对这个做出了很好的类比:“分数全是C的学生要比3A和1个F的学生更好。”

4.“竞价排名”谷歌通用搜索排名的工作原理大揭秘:搜索远不止竞价排名

Google基于竞价的排名示例

5.优化最终排名的竞价

排名靠前的结果(比如10个)被发送到下一个算法,该算法旨在优化排名,并删除任何漏掉的不可接受的结果。

这里考虑的因素是不同的,是针对具体案例的。这种重新计算可以提高或降低出价(或者可以想象保持不变)。

因此,需要研究下面的最终竞价集。

谷歌通用搜索排名的工作原理大揭秘:搜索远不止竞价排名

需要注意的是,在这一示例中,有一个结果得到一个 0 分,因此对其完全不考虑或排除(因为是相乘的,所以任何一个 0 分都将保证总分也为 0)。

这是非常激进的。这样的 0 可以通过算法生成。Barnard的猜测是,0 还可以作为实现一些人工操作的一种方式。

可以肯定的是,其顺序发生了变化,有一个最终的网络结果列表/“10个蓝色链接”。最终结果还是让人十分欣慰。

“候选结果集” :元素“夺嫡”之争1.候选结果集争夺搜索引擎首页的位置

每种类型的结果/丰富元素都在有效地竞争首页的位置。

新闻、图片、视频、精选片段、轮播、地图、GBP 等——每一个都提供首页的候选人名单及其竞价。

已经有很多企业竞相出现在首页上,而且这个名单还在不断增长。

谷歌通用搜索排名的工作原理大揭秘:搜索远不止竞价排名

有了这个系统,理论上,谷歌可以创建的丰富元素的没有数量限制。

2.候选人结果排名因素

“候选结果”和“候选结果集”这两个术语来自 Jason Barnard,而不是来自谷歌公司。

影响这些候选结果集中排名的因素的组合必须特定于每个因素,因为有些因素对于单个候选结果集是唯一的,而有些因素则不适用。

例如,alt 标签适用于图像候选结果集但不适用于其他结果集,或者新闻网站地图适用于新闻候选结果集,但不适用其他结果集的计算。

3.候选结果集排名因素权重

对于每个候选结果集,每个因素的相对权重也必然不同,因为每个因素都以特定格式提供特定类型的信息。

其目的是为用户提供最合适的元素:

内容本身。媒体格式。页面上的位置。

例如,新鲜度将成为新闻中的一个重要因素,而 RankBrain 和 MUM 则是精选片段的重要因素。

4.候选结果集竞价计算

每个候选结果集提供的竞价的计算方式与第一个网络/蓝色链接示例相同(通过乘法,假设使用第二个细化算法)。

谷歌公司有多个候选人竞价网页的一个地方(或几个地方,这取决于类型)。

谷歌通用搜索排名的工作原理大揭秘:搜索远不止竞价排名

在搜索页面首页将所有的内容都放在一起

(1)候选人结果集相互竞标

谷歌只是在寻找任何能为用户提供“更好”解决方案的丰富结果。

它希望提供 SERP ,将引导其用户找到问题的最佳解决方案,或尽可能有效地回答他们的问题。

谷歌通用搜索排名的工作原理大揭秘:搜索远不止竞价排名

Jason Barnard 用来做出这些获胜选择的规则是虚构的,而不是谷歌真实使用的。

当它确实识别出“更好”的候选结果时,该结果将被赋予一个位置(以一个或多个传统蓝色链接为代价)。

(2)首页丰富元素的最终“结局”

每个候选结果集都受到特定限制,并且都服从于传统的呈现结果:蓝色链接。

一个结果,一个可能的位置(例如精选片段、知识面板、Google 商业资料)多个结果,多个可能的位置(例如图像、视频、Twitter 框)多个结果,一个可能的位置(例如新闻、实体轮播) :在这个例子中赢家是(注意:用来做出这些选择的规则是虚构的,而不是谷歌真实使用的)下面这样的。新闻:未能超过排名第一的网络竞价,因此相关性不高,没有获得一席之地。图片:有一名获胜者。分配了五个空间,而其他四个可以免费获得。视频:其中两个出价都超过了排名靠前的网络结果,因此它们都获得了一席之地。精选片段:有几个竞价者,但只选择了一个,因为这是“最佳”答案。谷歌通用搜索排名的工作原理大揭秘:搜索远不止竞价排名

随着位置被赋予丰富的元素,位置较低的网络结果会下降到第二页。

当更多丰富的元素被添加到 SERP 中后,它们往往在视觉上占主导地位,因此蓝色链接逐渐失去其重要性。蓝色链接不会很快消失,但它们在 SERP 上的可见度越来越低。

不过说来有趣,即便是Jason Barnard,也表示:他自己不知道位置是如何归因于视频或图像的信息,因为他是用自己开发的简单系统而不是谷歌的系统得到的位置。

向未来:SEO进化永不停息

来自 Kalicube Pro 的数据表明,SERP 上的蓝色链接平均数量相当稳定,但通用功能的数量正在增加。

下面是一个快照视图,显示了企业的 SERP 丰富元素( SERP 功能)的平均数量在一年内从 1.5 增加到了 2.5。

谷歌通用搜索排名的工作原理大揭秘:搜索远不止竞价排名

通用搜索越来越主导 SERP ,对于 SEO 来说应该是一个更大的关注点。

通用搜索结果现在在视觉上主导了大多数 SERP ,而传统的蓝色链接获得的点击量也越来越少。这是传统SEO策略给人们带来的担忧,所以需要适应并着眼于更广阔的前景。

通用搜索依赖于非文本元素,如图像、视频、地图、问题、社交渠道等,因此企业需要开发这些格式并将它们整合到策略中,以便在Google(或Bing) SERP 上获得更好的可见性。

不仅如此,由于 Twitter、YouTube 和其他第三方平台往往会主导 SERP 上的通用结果,需要考虑将它们更紧密地整合到 SEO 策略中。

可以这样说,站外 SEO 从未像现在这样重要。

来源: searchenginejou

作者:李睿

拓展知识:

搜索引擎原理图

图像搜索引擎需要为在Web上浏览过的图像建立索引信息,能够进行图像分析和判别,为图像加注释,存储抽取出的索引信息建立索引库,理想的图像搜索引擎还应该能支持基于内容的图像检索。
图像识别方法
1、自动查找图形文:可以通过两个HTML标签,即IMG SRC和HREF来检测是否存在可显示的图像文件,IMG SRC表示“显示下面的图像文件”,而HREF则表示“下面是一个链接”,这两种标签经常导向一个图像文件。搜索引擎通过检查文件扩展名来判断链接的是否是图像文件。如果文件扩展名是.GIF或.JPG,那它就是一个可显示的图像。
2、人工干预找出图像并进行分类:即人工对网上的图像及站点进行选择。这种方法可以产生准确的查询体系,但劳动强度太大,限制了处理图像的数量。由于图像不同于文本,需要人们按照各自的理解来说明其蕴含的意义,因此图像检索比起文本的查询和匹配要困难得多。目前的图像搜索引擎大多支持关键词检索和分类浏览两种检索方式,部分可提供可视属性检索,但也很有限。它们主要的检索途径有以下几种:
a. 基于图像外部信息:即根据图像的文件名或目录名、路径名、链路、ALT标签以及图像周围的文本信息等外部信息进行检索,这是目前图像搜索引擎采用最多的方法。在找出图像文件后,图像搜索引擎通过查看文件名或路径名确定文件内容,但这取决于文件名或路径名的描述程度。
b. 基于图像内容特征描述:这是一种语义层次的匹配。需要人工对图像的内容(如物体、背景、构成、颜色特征等)进行描述并分类,给出描述词。检索时,将主要在这些描述词中搜索你的检索词。这种查询方式是比较准确的,一般来讲可以获得较好的查准率。但需人工参与,劳动强度大,因而限制了可处理的图像数量,并且需要一定的规范和标准,效果取决于人工描述的精确度。
c. 基于图像形式特征的抽取:由图像分析软件自动抽取图像的颜色、形状、纹理等特征,建立特征索引库,用户只需将要查找的图像的大致特征描述出来,就可以找出与之具有相近特征的图像。这是一种基于图像特征层次的机械匹配,特别适用于检索目标明确的查询要求(例如对商标的检索)。产生的结果也是最接近用户要求的。但目前这种较成熟的检索技术主要应用于图像数据库的检索,在网上图像搜索引擎中应用这种检索技术还具有一定的困难。