各大搜索引擎发展史(了解搜索引擎的前世今生)

前沿拓展:

各大搜索引擎发展史

搜索引擎的发展历史

1990年,加拿大麦吉尔大学(University of McGill)计算机学院的师生开发出Archie。当时,万维网(World Wide Web)还没有出现,人们通过FTP来共享交流资源。Archie能定期搜集并分析FTP服务器上的文件名信息,提供查找分别在各个FTP主机中的文件。用户必须输入精确的文件名进行搜索,Archie告诉用户哪个FTP服务器能下载该文件。虽然Archie搜集的信息资源不是网页(HTML文件),但和搜索引擎的基本工作方式是一样的:自动搜集信息资源、建立索引、提供检索服务。所以,Archie被公认为现代搜索引擎的鼻祖。

Robot(机器人)一词对编程者有特殊的意义。Computer Robot是指某个能以人类无法达到的速度不断重复执行某项任务的自动程序。由于专门用于检索信息的Robot程序象蜘蛛(spider)一样在网络间爬来爬去,因此,搜索引擎的Robot程序被称为spider程序。

1993年Matthew Gray开发了 World Wide Web Wanderer,这是第一个利用HTML网页之间的链接关系来检测万维网规模的“机器人(Robot)”程序。开始,它仅仅用来统计互联网上的服务器数量,后来也能够捕获网址(URL)。

1994年4月,斯坦福大学(Stanford University)的两名博士生,美籍华人Jerry Yang(杨致远)和David Filo共同创办了Yahoo。随着访问量和收录链接数的增长,Yahoo目录开始支持简单的数据库搜索。因为Yahoo!的数据是手工输入的,所以不能真正被归为搜索引擎,事实上只是一个可搜索的目录。雅虎于2002年12月23日收购inktomi,2003年7月14日收购包括Fast和Altavista在内的Overture,2003年11月,Yahoo全资收购3721公司。

1994年初,华盛顿大学(University of Washington )的学生Brian Pinkerton开始了他的小项目WebCrawler。1994年4月20日,WebCrawler正式亮相时仅包含来自6000个服务器的内容。WebCrawler是互联网上第一个支持搜索文件全部文字的全文搜索引擎,在它之前,用户只能通过URL和摘要搜索,摘要一般来自人工评论或程序自动取正文的前100个字。

1994年7月,卡内基•梅隆大学(Carnegie Mellon University) 的Michael Mauldin将John Leavitt的spider程序接入到其索引程序中,创建了Lycos。除了相关性排序外,Lycos还提供了前缀匹配和字符相近限制,Lycos第一个在搜索结果中使用了网页自动摘要,而最大的优势还是它远胜过其它搜索引擎的数据量。

1994年底,Infoseek正式亮相。其友善的界面,大量的附加功能,使之和Lycos一样成为搜索引擎的重要代表。

1995年,一种新的搜索引擎形式出现了——元搜索引擎(A Meta Search Engine Roundup)。用户只需提交一次搜索请求,由元搜索引擎负责转换处理,提交给多个预先选定的独立搜索引擎,并将从各独立搜索引擎返回的所有查询结果,集中起来处理后再返回给用户。第一个元搜索引擎,是Washington大学硕士生 Eric Selberg 和 Oren Etzioni 的 Metacrawler。

1995年12月,DEC的正式发布AltaVista。AltaVista是第一个支持自然语言搜索的搜索引擎,第一个实现高级搜索语法的搜索引擎(如AND, OR, NOT等)。用户可以用AltaVista搜索新闻组(Newsgroups)的内容并从互联网上获得文章,还可以搜索图片名称中的文字、搜索Titles、搜索Java applets、搜索ActiveX objects。AltaVista也声称是第一个支持用户自己向网页索引库提交或删除URL的搜索引擎,并能在24小时内上线。AltaVista最有趣的新功能之一,是搜索有链接指向某个URL的所有网站。在面向用户的界面上,AltaVista也作了大量革新。它在搜索框区域下放了“tips”以帮助用户更好的表达搜索式,这些小tip经常更新,这样,在搜索过几次以后,用户会看到很多他们可能从来不知道的的有趣功能。这系列功能,逐渐被其它搜索引擎广泛采用。1997年,AltaVista发布了一个图形演示系统LiveTopics,帮助用户从成千上万的搜索结果中找到想要的。

1995年9月26日,加州伯克利分校助教Eric Brewer、博士生Paul Gauthier创立了Inktomi,1996年5月20日,Inktomi公司成立,强大的HotBot出现在世人面前。声称每天能抓取索引1千万页以上,所以有远超过其它搜索引擎的新内容。HotBot也大量运用cookie储存用户的个人搜索喜好设置。

1997年8月,Northernlight搜索引擎正式现身。它曾是拥有最大数据库的搜索引擎之一,它没有Stop Words,它有出色的Current News、7,100多出版物组成的Special Collection、良好的高级搜索语法,第一个支持对搜索结果进行简单的自动分类。

1998年10月之前,Google只是斯坦福大学(Stanford University)的一个小项目BackRub。1995年博士生Larry Page开始学习搜索引擎设计,于1997年9月15日注册了google.com的域名,1997年底,在Sergey Brin和Scott Hassan、Alan Steremberg的共同参与下,BachRub开始提供Demo。1999年2月,Google完成了从Alpha版到Beta版的蜕变。Google公司则把1998年9月27日认作自己的生日。Google以网页级别(Pagerank)为基础,判断网页的重要性,使得搜索结果的相关性大大增强。Google公司的奇客(Geek)文化氛围、不作恶(Don’t be evil)的理念,为Google赢得了极高的口碑和品牌美誉。2006年4月,Google宣布其中文名称“谷歌”,这是Google第一个在非英语国家起的名字。

Fast(Alltheweb)公司创立于1997年,是挪威科技大学(NTNU)学术研究的副产品。1999年5月,发布了自己的搜索引擎AllTheWeb。Fast创立的目标是做世界上最大和最快的搜索引擎,几年来庶几近之。Fast(Alltheweb)的网页搜索可利用ODP自动分类,支持Flash和pdf搜索,支持多语言搜索,还提供新闻搜索、图像搜索、视频、MP3、和FTP搜索,拥有极其强大的高级搜索功能。(2003年2月25日,Fast的互联网搜索部门被Overture收购)。

1996年8月,sohu公司成立,制作中文网站分类目录,曾有“出门找地图,上网找搜狐”的美誉。随着互联网网站的急剧增加,这种人工编辑的分类目录已经不适应。sohu于2004年8月独立域名的搜索网站“搜狗”,自称“第三代搜索引擎”。

Openfind 创立于1998年1月,其技术源自台湾中正大学吴升教授所领导的GAIS实验室。Openfind起先只做中文搜索引擎,鼎盛时期同时为三大著名门户新浪、奇摩、雅虎提供中文搜索引擎,但2000年后市场逐渐被Baidu和Google瓜分。2002年6月,Openfind重新发布基于GAIS30 Project的Openfind搜索引擎Beta版,推出多元排序(PolyRankTM),宣布累计抓取网页35亿,开始进入英文搜索领域。

2000年1月,两位北大校友,超链分析专利发明人、前Infoseek资深工程师李彦宏与好友徐勇(加州伯克利分校博士后)在北京中关村创立了百度(Baidu)公司。2001年8月发布Baidu.com搜索引擎Beta版(此前Baidu只为其它门户网站搜狐新浪Tom等提供搜索引擎),2001年10月22日正式发布Baidu搜索引擎,专注于中文搜索。Baidu搜索引擎的其它特色包括:百度快照、网页预览/预览全部网页、相关搜索词、错别字纠正提示、mp3搜索、Flash搜索。2002年3月闪电计划(Blitzen Project)开始后,技术升级明显加快。后推出贴吧、知道、地图、国学、百科等一系列产品,深受网民欢迎。2005年8月5日在纳斯达克上市,发行价为USD 27.00,代号为BIDU。开盘价USD 66.00,以USD 122.54收盘,涨幅353.85%,创下了5年以来美国股市上市新股当日涨幅最高纪录。


雅虎中国“消亡”简史

图片来源@视觉中国

文 | ​雷达财经,作者 | 张凯旌,编辑 | 深海

“今后的雅虎,只能是回忆了。”

2月27日,一则#雅虎邮箱2月28日停止中国大陆服务#的消息冲上了微博热搜。据IT之家,有网友收到官方发布的通知邮件,称雅虎邮箱将于2月28日在中国大陆停止服务,要求用户尽快更换使用其他邮箱。

不过,在感叹和惋惜的同时,也有网友表示惊诧:“雅虎不是早就停止在内地服务了吗?”

雷达财经梳理发现,2013年中国雅虎曾陆续停止了邮箱、资讯和社区服务,并宣称原有团队将转做阿里巴巴公益项目,当年@yahoo.com.cn和@yahoo.cn的邮箱后缀已经无法使用,但国际版的yahoo.com依然保持了正常的服务。2021年11月,雅虎再度发布消息,宣布撤出大陆市场,而这次给用户备份信息的截止日期,才定在了2022年2月28日。

值得一提的是,雅虎是第一个达到千亿市值的互联网巨头,更是许多中国网友接触互联网的第一扇窗户,但公司却没能跟紧时代的步伐,反而在内忧外患下,逐渐沉沦。

初代互联网巨头的落幕

1995年,李彦宏还在华尔街打工,雷军和马化腾还在敲代码,马云则刚从杭州电子工业学院辞职创办中国黄页,而斯坦福大学博士生杨致远的雅虎已经获得了红杉资本1000万美元的注资。

彼时是互联网行业的起步阶段,人们想要浏览网页只能通过查询目录找到相应的域名并输入,操作十分麻烦,这让杨致远产生了做“因特网导航服务”的想法。

简而言之,雅虎所做的就是将大量网站集中在一个网页上供大家免费使用。就是这个点子,让雅虎成立仅一年就完成上市,并开创了互联网全新的商业模式。

得益于借此收获的巨大流量,雅虎可以通过售卖广告位来赚取利润。当其他公司还幻想着按照上网时长计费盈利时,雅虎已经能实现让用户只交电话和宽带费用就能拥有良好的上网体验。数据显示,上市后的次年,雅虎的广告业务已经可以获得超7000万美元的营收。

1999年9月,中国雅虎网站开通;2000年1月3日,雅虎市值一度达1280亿美元。同年,搜狐、新浪、网易在纳斯达克扎堆上市,那是网民们记忆中,门户网站最初的模样。

“我人生中的第一个邮箱就是雅虎邮箱。”看到雅虎邮箱即将在2月28日停止在中国服务的消息,网友小七有些感慨,虽然他早已经忘记了自己雅虎邮箱的账号密码。

在小七的回忆中,自己还在上小学时,妈妈就为他申请了雅虎的邮箱账号。后来这个账号一直沿用到高中,虽然使用的频次不高,但还是代表了他对互联网的最初印象。

如果说对于小七而言,雅虎中国的谢幕还并未造成实质性影响的话,那么对于一些忠实用户来说,雅虎邮箱的退出则因给生活平添了许多不便,一度难以被接受。

2013年4月18日,中国雅虎曾向邮箱用户发送邮件,称已正式启动集体迁移,因为2013年8月19日后,原中国雅虎邮箱中的所有邮件和相关的账户设置都将被删除且无法恢复。邮件还建议,邮箱后缀为@yahoo.com.cn和@yahoo.cn的中国用户,可以注册并绑定一个全新的阿里云邮箱。

邮箱可以轻易转移,但用邮箱绑定注册的账户则面临一定风险。彼时新浪微博客服曾表示,如果用雅虎邮箱绑定了安全邮箱,密码丢失后可能会无法找回。用户可以修改安全邮箱,但这对于习惯用雅虎邮箱来绑定账户的人来说,是一项不小的工程。

“十几年了,所有网站注册账号密保全用的中国雅虎,支付宝,微博,京东,各个论坛,各个团购网……这日子没法过了!”有网友吐槽道。

这只是雅虎撤退的开始。2015年,雅虎北京研发中心的员工收到了公司遣散的正式通知,这标志着雅虎决定彻底退出中国大陆的运营业务。

2016年,雅虎将自己包括门户网站、搜索引擎、邮箱等在内的核心业务作价48亿美元卖给了美国通信巨头Verizon;2021年,Verizon又将包括雅虎在内的Verizon Media出售给了阿波罗全球管理公司,交易完成后Verizon Media将名称改回雅虎,但此时的雅虎,早已今非昔比。

2021年11月,《华尔街日报》以“雅虎退出中国大陆,在华20年风雨历程就此画上句号”的标题撰写了雅虎宣布撤出大陆市场的消息。此后网友们发现,雅虎仅存的在中国大陆可以访问的包括天气App、新闻资讯等在线服务,以及雅虎旗下的科技媒体Engadget中文版均无法访问。

2月28日,雷达财经尝试注册yahoo.com的邮箱,网页直接跳转到了雅虎的通知:2021年11月1日起,用户将无法从中国大陆使用Yahoo的产品与服务。这并不影响Yahoo在全球其他地方的产品及服务。

雅虎中国“消亡”简史

周鸿祎的遗憾

事实上,在日新月异的互联网浪潮中,雅虎也有过机会。

1999年登陆中国时,国内的门户网站只是初具雏形,而雅虎则已经拥有了远超国内互联网巨头的品牌影响力和技术实力,但雅虎不仅没有把握住这一机会,反而让自己在中国互联网行业逐渐边缘化。

不少业内人士认为,初期对英文网站完全的“复制粘贴”,是雅虎在起跑线上就落人一步的关键原因。据了解,彼时的雅虎中国完全做成了英文站的翻译版,但原味的西方内容显然无法满足中国网民的本地需求。

与之相对的是,千禧之年前后,新浪、网易和搜狐针对包括中国驻南斯拉夫大使馆被炸等一系列国内、国际事件进行了海量的新闻轰炸,奠定了其在网民们心目中的位置。

类似的情况不只发生在中国大陆。除了美国外的全球市场,雅虎只有在台湾和日本做得比较成功。后知后觉的杨致远,想要复刻台湾模式,通过收购一家大陆公司,来提振雅虎中国的业绩,而摆在他面前的选择有两个,开价1.5亿美元的百度,和开价1.2亿美元的3721。

当时,两家公司正在搜索的市场上打得火热。为了打击百度,获取市场份额,3721曾以极端的方式让用户在装机时被迫安装插件,且难以卸载,插件甚至还会推送一些色情暴力的内容链接,以至于创始人周鸿祎一度被称为“流氓软件之父”。

在后来的采访中,周鸿祎也曾承认了自己的错误,并表示得罪用户这个教训极其惨重。但彼时,杀红了眼的周鸿祎眼中只有“敌人”。

“当时太急于求成,想快速击败敌人,就把公司卖给了雅虎,想借助雅虎的品牌和技术,在搜索领域作出一番建树。”

2003年,雅虎中国收购3721,周鸿祎正式出任雅虎中国总裁。

雅虎中国“消亡”简史

周鸿祎的到来,一度让雅虎中国迎来了在中国市场的巅峰时期。其先是砍去了一些雅虎中国在内容上并不擅长的频道,坚持将有限的资源聚集在邮件和搜索上,随后又成立新的搜索网站“一搜网”,并将免费邮箱扩容。

大刀阔斧的改革下,雅虎中国仅用时一年便扭亏为盈,并在搜索市场和邮箱业务方面,成功超过谷歌、网易,排名均跃居国内第二。

但此时美国总部却出人意料地要求周鸿祎在2005年搜索必须超过百度成为市场第一,同时在财政上更宣布不再向中方提供任何资金支持。忿忿不平的周鸿祎选择卷铺盖走人。

日后回忆起这段经历时,周鸿祎曾提到:“杨致远在中国一直都是赌徒的心态。2003年以前,他以为放几十个人,凭着雅虎的品牌,就能够在中国‘平趟’,结果是被边缘化;2003年以后虽然收购了3721,但还是赌徒心理,希望收购了3721之后,在中国又能挣钱、又能样样做第一。”

周鸿祎还称,自己带团队进入雅虎后,面对的是上有十几层的官僚体系,没办法与杨致远平等对话,何谈战略。“一搜、1G全是我们自发做的,出于创业者的热情,先斩后奏。从两百多人发展到六百多人,用的全是3721的资源。”

“3721要是不卖给雅虎,那今天还有百度什么事?”

从雅虎中国离职后的第二年,周鸿祎的奇虎公司推出主打卸载流氓软件的“360安全卫士”,而雅虎助手则成为了重点打击对象。

雅虎中国“消亡”简史

投资阿里是明智的决定吗?

在接受每日经济新闻采访时,周鸿祎透露,自己远赴美国向杨致远提出辞职后,雅虎中国加速了在中国寻找下一个合作伙伴的进程。在新浪、百度、金山都没能成功的情况下,雅虎中国找到了马云和他的阿里。

“电子商务不像信息业,后者在中国是外国投资者的话,会受限制,因此我们认为如果能把我们在中国的业务变成投资,或少数投资,问题就不大,同时电商也是问题不大的一个领域。”杨致远在接受采访时谈及了彼时雅虎对电商业务的觊觎,“我们努力想用我们在日本的操作手册来建立电商业务,但一直被淘宝狂打,我们开始变得非常尊敬马云能力。”

而马云愿意接手,很大程度上则是想解决淘宝网现金流短缺的问题。

2005年,阿里还是一家依靠B2B业务赚钱的公司,其现金流并不好,支付宝和淘宝等项目均需要大量的资金输血。此时阿里的投资人开始给以马云为首的管理层施加压力,软银孙正义甚至一度对eBay开出的阿里收购价颇为心动。

在这个背景下,阿里以40%股权换取雅虎的10亿美元以及其在中国的品牌和技术,既获得了大笔发展资金,同时也让马云巩固了自己在阿里的话语权。在雅虎注资的同时,除软银外的其他股东如高盛等已悉数退出,马云还在股权变动协议中,获取了额外的投票权以及董事会席位。

与此同时,阿里甚至还获得了一批非常优秀的工程师,并在此后吹响了战胜易趣的号角,一路发展至今。“没有这笔交易,就不会有今天的阿里巴巴。”有行业人士评论道。

不过,易观国际高级分析师曹飞指出,从某种程度上看,双方都拿到了各自需要的东西,而中国雅虎则完全沦为了一个附属品。“马云最初的想法是做垂直搜索,给阿里的几百万中小企业客户服务。但他明显低估了做一个搜索引擎的难度,在核心技术都掌握在美国总部手里且外部有百度和谷歌双重打压之下,雅虎搜索在中国的市场份额连1%都不到。”

“对一切以销售为主的阿里巴巴来说,要做一个真正的互联网门户,简直难上加难。”一位自周鸿祎时代就任职于雅虎的员工感叹。

随着时间的推移,雅虎中国变为了中国雅虎,公司战略几经变迁,总裁人选也在不断更替。2008年后,雅虎和口碑网合并,至此其已沦为“电商导购”,首页中到处是淘宝的广告。虽然阿里与雅虎的协议约定是继续运营公司至2016年,但在此后的日子里,中国雅虎日渐式微。

在美国本土,雅虎也曾遇到一些绝佳的项目,但无论是谷歌、Facebook的管理者,还是2008年时微软开出的450亿美元收购价,都没能打动雅虎的心。

有分析人士认为,在瞬息万变的互联网时代,无论一家企业拥有多么辉煌的过去,都需要找准定位、认清时势、随时保持警惕心理与竞争意识,而这也是任何商业场中想要继续在这个时代生存下去所必须认识到的一点。

拓展知识:

各大搜索引擎发展史