Posted: July 18th, 2008, 3:36 am
这是 Google 工程师 Amit Singhal 发表在 Google 官方博客的一篇文章，讲述了 Google 搜索排名背后的一些技术，涉及到 Google 对网页，对语义，对用户意图的理解。
Google 搜索排名的核心技术源自已有50年历史的学术课题 Information Retrieval (IR)，IR 技术使用统计学原理对文字的使用频率等属性进行研究并对结果进行排名。建立在 IR 理论上的 Google 搜索同时借助链接，网页结构等等技术形成独特的搜索技术。
理解网页:
Google 多年来在网络爬虫与索引系统上投入巨资，因此，Google 拥有非常庞大并且是最新的网页索引，除此之外，Google 还使用一些最新技术提高索引质量，比如，他们开发了一种技术，可以在字面意思之外理解一个网页所表达的重要概念，人们使用意大利语言搜索 "<a href='http://www.google.it/search?hl=it&q=gal ... eri+londra' target='_blank'>galleria sprovieri londra</a>"，会找到伦敦的 <a href='http://www.sprovieri.com/' target='_blank'>Sprovieri Gallery</a>，尽管 <a href='http://www.sprovieri.com/' target='_blank'>Sprovieri Gallery</a> 主页上既没有 London，也没有 Londra 字样。在美国，人们搜索 "cool tech pc vancouver, wa"，会找到 <a href='http://www.cooltechpc.com/' target='_blank'>www.cooltechpc.com</a>，然而 <a href='http://www.cooltechpc.com/' target='_blank'>www.cooltechpc.com</a> 的主页上没有任何文字表明他们位于 Vancouver。其它技术包括，区分一个网页中的重要或非重要文字，以及网页内容的新鲜度。
理解语义:
Google 可以通过用户提供的几个搜索关键词，理解用户的真实意图。他们在拼写纠正，词义，以及概念分析方面处于非常领先的位置。很多人都或多或少体验过 Google 的拼写纠正功能，比如搜索 "<a href='http://www.google.com/search?hl=en&q=kofee+annan' target='_blank'>kofee annan</a>"，Google 会问你搜索的是否 "<a href='http://www.google.com/search?hl=en&sa=X ... an&spell=1' target='_blank'>kofi annan</a>"，然而，当有人搜索 "<a href='http://www.google.com/search?hl=en&q=kofee+beans' target='_blank'>kofee beans</a>"，Google 会纠正成 "coffee beans"。（Google 事实上已经在尝试语义技术 - 译者）
词义是 Google 尝试理解查询语义的基础，也是 Google 遇到的最大难题。一些在人看来显而易见的东西，机器却很难自动处理。用户并不想对使用什么词汇进行查询而费神，人们甚至压根不知道该使用什么进行查询。在这种时候，Google 的词义系统便可以发挥作用，词义系统可以对查询语句进行非常复杂的修正，比如，查询 "<a href='http://www.google.com/search?hl=en&q=Dr+Zhivago' target='_blank'>Dr Zhivago</a>" 的时候，Google 知道 Dr 代表 Doctor ，而查询 "<a href='http://www.google.com/search?hl=en&q=Rodeo+Dr' target='_blank'>Rodeo Dr</a>" 的时候，Dr 代表 Drive。用户搜索 "<a href='http://www.google.com/search?hl=en&q=back+bumper+repair' target='_blank'>back bumper repair</a>" 的时候，结果是 rear bumper repair，而搜索 "<a href='http://www.google.com/search?hl=en&q=Ramstein+ab' target='_blank'>Ramstein ab</a>"，Google 能够将 ab 理解成 Air Base，"b&b ab" 会理解为 Alberta 的 Bed and Breakfasts 。Google 将这种词义理解系统发展到上百种不同语言。
Google 在搜索排名中使用的另一项技术是概念识别，该技术可以对查询的内容进行概念识别，比如，我们查询 "<a href='http://www.google.com/search?hl=en&q=ne ... are+church' target='_blank'>new york times square church</a>"，Google 知道我们实际上查询的是纽约时代广场上的那座著名教堂，而不是纽约时报中的某篇文章。概念识别技术并不止这些，Google 还对其进行加强以正确地识别语义，比如，搜索 "<a href='http://www.google.com/search?hl=en&q=PC ... +on+people' target='_blank'>PC and its impact on people</a>"，事实上是搜索计算机对社会的影响。Google 的搜索分析算法中这类技术比比皆是，而且面向几乎所有语言。
理解用户:
Google 尝试理解用户的目的是为用户返回他们真正需要的结果，而不是他们在搜索语句中所说的东西。该技术基于一个世界级的本地化系统，外加先进的个性化技术，以及各种用户意图识别技术。
Google 对本地结果的重视体现在他们的本地化工作中。同样一个查询语句在不同国家会返回不同结果，比如，查询 "<a href='http://www.google.com/search?hl=en&q=bank' target='_blank'>bank</a>]"，在美国返回的是银行，而英国则可能是 <a href='http://www.bankfashion.co.uk/stores' target='_blank'>Bank Fashion</a> 的服装连锁店，或者英国的银行，而在其它英语国家，如澳大利亚，加拿大，新西兰，南非，返回的则应仍旧是当地的银行。如果你在一些非英语国家查询这个词，象埃及，以色列，日本，俄罗斯，沙特，瑞士，返回的结果将更有趣。就象 Football 在美国和英国表示不同的运动项目一样，同一个词在不同国家查询的结果可能截然不同。
个性化查询是 Google 另一项先进搜索技术，一个已经登录的用户，如果开通了 <a href='http://www.google.com/psearch' target='_blank'>Web History</a> 服务，随着他查询时间的增长，Google 会根据他的查询历史，自动调整返回的结果，比如，一个经常查询 Football 相关话题的人，会逐渐从 Google 得到更多足球相关的结果。如果你青睐某个购物站返回的结果，在以后的查询中，会从那个购物站得到更多结果。
Google 在返回用户真正想要的结果方面的另一个例子是，假如你搜索 "<a href='http://www.google.com/search?hl=en&q=chevrolet+magnum' target='_blank'>chevrolet magnum</a>"，我们知道 Magnum 不是 Chevrolet 产的，是 Dodge 产的，Google 会自动返回 <a href='http://www.google.com/search?hl=en&pwst ... ision&cd=1' target='_blank'>dodge magnum</a> 的结果。还有一个例子，有人搜索 "<a href='http://www.google.com/search?hl=en&q=bangalore' target='_blank'>bangalore</a>"，不仅返回 Bangalore 这个城市的主页，而且返回 Bangalore 的地图，以及一些与 Bangalore 市景，交通相关的视频，这些视频会让你有身临其境的感觉。
本文国际来源：<a href='http://googleblog.blogspot.com/2008/07/ ... nking.html' target='_blank'>http://googleblog.blogspot.com/2008/07/ ... ng.html</a>
中文翻译：<a href='http://www.comsharp.com/' target='_blank'>COMSHARP CMS</a>
thinking points:
1. tech, a destructive force or a propelling force?
2. how does google centralize customers' needs with improved tech, and by improving tech, and why?
3. understand the channel (webpages analysis), products (keywords queries refinement) and finally, the customers themselves (searching behavior/history data-mining).
Google 搜索排名的核心技术源自已有50年历史的学术课题 Information Retrieval (IR)，IR 技术使用统计学原理对文字的使用频率等属性进行研究并对结果进行排名。建立在 IR 理论上的 Google 搜索同时借助链接，网页结构等等技术形成独特的搜索技术。
理解网页:
Google 多年来在网络爬虫与索引系统上投入巨资，因此，Google 拥有非常庞大并且是最新的网页索引，除此之外，Google 还使用一些最新技术提高索引质量，比如，他们开发了一种技术，可以在字面意思之外理解一个网页所表达的重要概念，人们使用意大利语言搜索 "<a href='http://www.google.it/search?hl=it&q=gal ... eri+londra' target='_blank'>galleria sprovieri londra</a>"，会找到伦敦的 <a href='http://www.sprovieri.com/' target='_blank'>Sprovieri Gallery</a>，尽管 <a href='http://www.sprovieri.com/' target='_blank'>Sprovieri Gallery</a> 主页上既没有 London，也没有 Londra 字样。在美国，人们搜索 "cool tech pc vancouver, wa"，会找到 <a href='http://www.cooltechpc.com/' target='_blank'>www.cooltechpc.com</a>，然而 <a href='http://www.cooltechpc.com/' target='_blank'>www.cooltechpc.com</a> 的主页上没有任何文字表明他们位于 Vancouver。其它技术包括，区分一个网页中的重要或非重要文字，以及网页内容的新鲜度。
理解语义:
Google 可以通过用户提供的几个搜索关键词，理解用户的真实意图。他们在拼写纠正，词义，以及概念分析方面处于非常领先的位置。很多人都或多或少体验过 Google 的拼写纠正功能，比如搜索 "<a href='http://www.google.com/search?hl=en&q=kofee+annan' target='_blank'>kofee annan</a>"，Google 会问你搜索的是否 "<a href='http://www.google.com/search?hl=en&sa=X ... an&spell=1' target='_blank'>kofi annan</a>"，然而，当有人搜索 "<a href='http://www.google.com/search?hl=en&q=kofee+beans' target='_blank'>kofee beans</a>"，Google 会纠正成 "coffee beans"。（Google 事实上已经在尝试语义技术 - 译者）
词义是 Google 尝试理解查询语义的基础，也是 Google 遇到的最大难题。一些在人看来显而易见的东西，机器却很难自动处理。用户并不想对使用什么词汇进行查询而费神，人们甚至压根不知道该使用什么进行查询。在这种时候，Google 的词义系统便可以发挥作用，词义系统可以对查询语句进行非常复杂的修正，比如，查询 "<a href='http://www.google.com/search?hl=en&q=Dr+Zhivago' target='_blank'>Dr Zhivago</a>" 的时候，Google 知道 Dr 代表 Doctor ，而查询 "<a href='http://www.google.com/search?hl=en&q=Rodeo+Dr' target='_blank'>Rodeo Dr</a>" 的时候，Dr 代表 Drive。用户搜索 "<a href='http://www.google.com/search?hl=en&q=back+bumper+repair' target='_blank'>back bumper repair</a>" 的时候，结果是 rear bumper repair，而搜索 "<a href='http://www.google.com/search?hl=en&q=Ramstein+ab' target='_blank'>Ramstein ab</a>"，Google 能够将 ab 理解成 Air Base，"b&b ab" 会理解为 Alberta 的 Bed and Breakfasts 。Google 将这种词义理解系统发展到上百种不同语言。
Google 在搜索排名中使用的另一项技术是概念识别，该技术可以对查询的内容进行概念识别，比如，我们查询 "<a href='http://www.google.com/search?hl=en&q=ne ... are+church' target='_blank'>new york times square church</a>"，Google 知道我们实际上查询的是纽约时代广场上的那座著名教堂，而不是纽约时报中的某篇文章。概念识别技术并不止这些，Google 还对其进行加强以正确地识别语义，比如，搜索 "<a href='http://www.google.com/search?hl=en&q=PC ... +on+people' target='_blank'>PC and its impact on people</a>"，事实上是搜索计算机对社会的影响。Google 的搜索分析算法中这类技术比比皆是，而且面向几乎所有语言。
理解用户:
Google 尝试理解用户的目的是为用户返回他们真正需要的结果，而不是他们在搜索语句中所说的东西。该技术基于一个世界级的本地化系统，外加先进的个性化技术，以及各种用户意图识别技术。
Google 对本地结果的重视体现在他们的本地化工作中。同样一个查询语句在不同国家会返回不同结果，比如，查询 "<a href='http://www.google.com/search?hl=en&q=bank' target='_blank'>bank</a>]"，在美国返回的是银行，而英国则可能是 <a href='http://www.bankfashion.co.uk/stores' target='_blank'>Bank Fashion</a> 的服装连锁店，或者英国的银行，而在其它英语国家，如澳大利亚，加拿大，新西兰，南非，返回的则应仍旧是当地的银行。如果你在一些非英语国家查询这个词，象埃及，以色列，日本，俄罗斯，沙特，瑞士，返回的结果将更有趣。就象 Football 在美国和英国表示不同的运动项目一样，同一个词在不同国家查询的结果可能截然不同。
个性化查询是 Google 另一项先进搜索技术，一个已经登录的用户，如果开通了 <a href='http://www.google.com/psearch' target='_blank'>Web History</a> 服务，随着他查询时间的增长，Google 会根据他的查询历史，自动调整返回的结果，比如，一个经常查询 Football 相关话题的人，会逐渐从 Google 得到更多足球相关的结果。如果你青睐某个购物站返回的结果，在以后的查询中，会从那个购物站得到更多结果。
Google 在返回用户真正想要的结果方面的另一个例子是，假如你搜索 "<a href='http://www.google.com/search?hl=en&q=chevrolet+magnum' target='_blank'>chevrolet magnum</a>"，我们知道 Magnum 不是 Chevrolet 产的，是 Dodge 产的，Google 会自动返回 <a href='http://www.google.com/search?hl=en&pwst ... ision&cd=1' target='_blank'>dodge magnum</a> 的结果。还有一个例子，有人搜索 "<a href='http://www.google.com/search?hl=en&q=bangalore' target='_blank'>bangalore</a>"，不仅返回 Bangalore 这个城市的主页，而且返回 Bangalore 的地图，以及一些与 Bangalore 市景，交通相关的视频，这些视频会让你有身临其境的感觉。
本文国际来源：<a href='http://googleblog.blogspot.com/2008/07/ ... nking.html' target='_blank'>http://googleblog.blogspot.com/2008/07/ ... ng.html</a>
中文翻译：<a href='http://www.comsharp.com/' target='_blank'>COMSHARP CMS</a>
thinking points:
1. tech, a destructive force or a propelling force?
2. how does google centralize customers' needs with improved tech, and by improving tech, and why?
3. understand the channel (webpages analysis), products (keywords queries refinement) and finally, the customers themselves (searching behavior/history data-mining).