网页分类算法（搜索引擎按语种分有哪两种检索方式）

本文目录

• 搜索引擎按语种分有哪两种检索方式
• HITS、TrustRunk、PageRunk、HillTop算法啥意思对SEO有什么指导意义
• 网页入度、出度、链接深度怎么算
• SEO优化：搜索引擎算法的分词技术
• 互联网页面的分类有哪些听说过分类页，聚合页，列表业等，但具体不知道指的是什么，请高人指教
• 带你了解数据挖掘中的经典算法
• 手机里的APP越来越多了，大家是如何页面分类的

搜索引擎按语种分有哪两种检索方式

◆ 第一种：分类目录式搜索引擎 其实这类搜索引擎不是真正意义上的搜索引擎，他们只是将网页系统地分类。您可以通过一些描述和关键词来找到您的网页应该出现在哪个分目录下，登记您的网页。您不进行登记，您的网页永远也不会在他们任何一个分目录下出现。他们没有使用专门的“检索软件”定期地在互联网上搜寻新增站点和页面，归入数据库。这类分目录的典型代表是Yahoo。 ◆ 第二种：检索式搜索引擎 用“检索软件”的搜索引擎，他们也存在很大的差异。依据软件的复杂程度，以下是这类搜索引擎的一些区别： 1、检索您递交的网页（并不是整个网站） 2、在某一站点含盖的每个页面中的每个词 3、在互联网上每时每刻通过链结从一个页面跳到另一个页面搜寻新增网页 递交您的网页地址，检索软件会自动地访问并收集任何需要的内容。每一个搜索引擎都有各自标准，搜索结果排序有差异。所以您怎样递交您的网页将完全彻底地影响您的排名。此外，您的排名今天是首位，明天可能不是了，因为许多搜索引擎频繁地改变他们的算法。 ◆ 第三种：元搜索引擎 他们同时向多个搜索引擎发送搜寻请求，对输入的查询关键词在各个搜索引擎所得的反馈结果排序进行整合。所以您要在这类搜索引擎中提高排名，就必须在他们所关联的所有搜索引擎中登记，通常他们所涉及的是前两类搜索引擎。这类搜索引擎自己没有数据库，所以您没必要向他们注册登记。

HITS、TrustRunk、PageRunk、HillTop算法啥意思对SEO有什么指导意义

HITS算法

HITS算法是由康奈尔大学( Cornell University ) 的Jon Kleinberg 博士于1997 年首先提出的,为IBM 公司阿尔马登研究中心( IBM Almaden Research Center) 的名为“CLEVER”的研究项目中的一部分。

TrustRank算法

TrustRank算法最初来自于2004年斯坦福大学和雅虎的一项联合研究，用来检测垃圾网站，并且于2006年申请专利。TrustRank算法发明人还发表了一份专门的PDF文件，说明TrustRank算法的应用。感兴趣的读者可以在下面这个网址下载PDF文件：

TrustRank算法并不是由Google提出的，不过由于Google所占市场份额最大，而且TrustRank在Google排名中也是一个非常重要的因素，所以有些人误以为TrustRank是Google提出的。更让人糊涂的是，Google曾经把TrustRank申请为商标，但是TrustRank商标中的TrustRank指的是Google检测含有恶意代码网站的方法，而不是指排名算法中的信任指数。

基于这个假设，如果能挑选出可以百分百信任的网站，这些网站的TrustRank评为最高，这些trustrank最高的网站所连接的网站信任指数稍微降低，但也会很高。与此类似，第二层别信任的网站链接出去的第三层网站，信任度继续下降。由于种种原因，好的网站也不可避免的会接到一些垃圾网站，不过离第一层网站点击距离越近，所传递的信任指数就越高，第一级网站点击距离越远，信任指数将依次下降。这样trustrank算法，就能给所有网站计算出相应的信任指数，离第一层网站越远，成为垃圾网真的可能性就越大。

PageRank

PageRank，即网页排名，是Google用来标识网页的等级或重要性的一种算法。

最早的搜索引擎采用的是 分类目录 的方法，即通过人工对网页进行分类并整理出高质量的网站。

随着网页数目的急剧增大，这种方法显然无法实施。于是，搜索引擎进入了 文本检索 的时代，即通过计算用户的查询语句与网页内容的相关程度来返回搜索结果。比如通过向量空间模型将输入的检索词和文件转换成向量，通过计算两个向量的夹角偏差程度（一般采用余弦距离）来衡量相关性。这种方法虽然能处理大量网页，但是效果却并不是很好，比如存在一些作弊行为：某些网页重复倒腾某些关键词从而使自己的搜索排名靠前。

于是，谷歌的两位创始人，当时还是美国斯坦福大学研究生的佩奇 (Larry Page) 和布林 (Sergey Brin) 开始了对网页排序问题的研究。他们受学术界对学术论文重要性的评估方法（论文引用次数）的启发，提出了PageRank算法。

PageRank的核心思想其实十分简单，概括如下：

• 如果一个网页被很多其它网页链接到，说明这个网页很重要，它的PageRank值也会相应较高；

• 如果一个PageRank值很高的网页链接到另外某个网页，那么那个网页的PageRank值也会相应地提高。

HillTop算法

HillTop，是一项搜索引擎结果排序的专利，是Google的一个工程师Bharat在2001年获得的专利。Google的排序规则经常在变化，但变化最大的一次也就是基于HillTop算法进行了优化。

网页入度、出度、链接深度怎么算

关于入度和出度怎么算如下：

在图论出，离散数学中的入度(degree)和出(out-degree)是用于描述有向图中顶点的性质入度指的是有向图中某个顶点所拥有的边的数量，即指向该顶点的边的数量。入度可以用于衡量有多少条边指向某人顶点

出度指的是有向图中某个顶点所出发的边的数量，即从该顶点出发的边的数量。出度可以用于衡量有多少条边从某个顶出发。

对于有向图中的任意顶点，入度和出度可以分别表示为:

入度=以该顶点作为终点的边的数量

出度=以该顶点作为起点的边的数量

在有向图中，入度和出度的总和等于图中边的总数。

也许大家很少听说过“入度”这个词，其实这是:e9优化中比较专业的概念，“入度”这个词源于图论算法，它通常指有向图中某点作为图中边的终点的次数之和。在30知识体系中，我们可以理解为页面的导入链接，即是页面与页面的链接，1-2-3-..N，从网站的首页，用户直访问到内容页。

或者是根要的查看的页面，当然是入度值越少，越简单，越常才越好，所以当大家考虑网站程序实现如何分类及相互链接的同时，一定要做到入度适中，这样埋索引擎进行计算成者爬取的时候会给你很高的权重，我们知道，索擎排名规则的基本单位是网页，而不是网站，而个页面多一个能接也就多一分排名提升的机会，所以合理构建好内链是排名提升的重要法宝

可以假设如果一个页面，被其它的众多页面所链接，出现的效果有两个：

第一、浏览者到达该页的通道顺场而目很多，这样的入度，搜素会给出很高的权重，也就是我们所说的权威须面计算规则

第二、出度，浏览者进入该页面是退出还是顺着链接构成出度，这也是拴索计算的很重要的因素，直接的退出和增加出度反应出浏览者对该页的重视程度。也就是一般的浏览者会认为，该页如果是毫无内容的页面，哪它出度的页面也是毫无意义，就会直接很出，如果该页极富浏览性就会增加浏览者再顺着该页打开新页面的机会。

所以出度不仅是该页的链出数量还是质是的问题，同时也是，个网站流是的来源，与用户体验的问题。

SEO优化：搜索引擎算法的分词技术

我们知道，每个搜索引擎都具有分词技术，那么关于分词技术作为SEOer的你了解多少，了解搜索引擎的分词技术对搜索引擎算法研究是很有帮助的，好，下面上海SEO给大家讲讲什么是搜索引擎的分词技术!

要了解搜索引擎的分词技术就不能不去了解搜索引擎的索引库，因为索引库是分词技术的前提!索引库呢其实就是经过页面分类信息删选过的资料库：我们在去百度搜索信息的时候，百度搜索引擎并不是现查现找，而是搜索引擎早就把各类信息分类归档，每种分类的信息都有一个独立的资料库，而这个独立的资料库就是我们说的索引库，当我们去百度搜索某个词的时候，百度就自动调出属于这个词的索引库，在从这个索引库中调出对应信息呈现在用户面前，这个也是搜索引擎能够那么迅速从大量的信息库中调出对应信息的原因!知道了搜索引擎的索引库的原理，那么下面了解分词技术应该就不难了：

通过上面的内容我们知道，要想建立索引库就必须把网页内的各个词分类归档，让相同分类的词处于同一个资料库，把网页内的词分类归档就是所谓的分词技术!我们知道，搜索引擎看网页跟我们看到的网页不一样，我们是看内容而搜索引擎看到的是源代码，搜索引擎先提取网站的源代码，然后搜索引擎又根据所看到的源代码把不同的词及链接分类到不同的资料库中去!嗯，讲到这里我向大家应该都想知道，我们了解分词技术对SEO有什么意义，那么我告诉你，分词技术对于SEO是有很大的意义的：

比如我们优化“如何学好SEO”这个词到百度首页，那么在“学好SEO”、“SEO”这些词上，我们的网站也有了比较好的权重，只是我们没有察觉而已，只要我们在强加一点这些词的优化，那么这些词的排名也很容易上去的，但是如果说我们把一些跟网站标题不想关的词优化上去，那么搜索引擎是没办法根据分词技术给我们网站其他词权重的，所以说我们的网站在网站标题的适合要合理运用分词技术，这样可以命中更多的词，使我们的网站在很多词上都有排名!

分词技术对SEO有着很大的意义，利用好分词技术对我们的网站很有帮助的!

互联网页面的分类有哪些听说过分类页，聚合页，列表业等，但具体不知道指的是什么，请高人指教

你问的问题有些描述不清，下面给你个参考吧
1. 技术背景
分类问题是人类所面临的一个非常重要且具有普遍意义的问题。将事物正确的分类，有助于人们认识世界，使杂乱无章的现实世界变得有条理。自动文本分类就是对大量的自然语言文本按照一定的主题类别进行自动分类，它是自然语言处理的一个十分重要的问题。文本分类主要应用于信息检索，机器翻译，自动文摘，信息过滤，邮件分类等任务。文本分类的一个关键问题是特征词的选择问题及其权重分配。
在搜索引擎中，文本分类主要有这些用途：相关性排序会根据不同的网页类型做相应的排序规则；根据网页是索引页面还是信息页面，下载调度时候会做不同的调度策略；在做页面信息抽取的时候，会根据页面分类的结果做不同的抽取策略；在做检索意图识别的时候，会根据用户所点击的url所属的类别来推断检索串的类别等等。
2. 自动分类的原理和步骤
在分类的时候首先会遇到文档形式化表示的问题，文档模型有3种：向量空间模型，布尔模型和概率模型，其中我们常用的是向量空间模型。向量空间模型的核心描述如下：
•文档（Document）：文本或文本中的片断（句子或段落）。
•特征项（Term）：文档内容用它所包含的基本语言单位来表示，基本语言单位包括字、词、词组、短语、句子、段落等，统称为特征项。
•特征项权重（Term Weight）：不同的特征项对于文档D的重要程度不同，用特征项Tk附加权重Wk 来进行量化，文档D可表示为（T1，W1；T2，W2；…；Tn，Wn）
•向量空间模型（Vector Space Model）：对文档进行简化表示，在忽略特征项之间的相关信息后，一个文本就可以用一个特征向量来表示，也就是特征项空间中的一个点；而一个文本集可以表示成一个矩阵，也就是特征项空间中的一些点的集合。
•相似度（Similarity）：相似度Sim（D1，D2）用于度量两个文档D1和D2之间的内容相关程度。当文档被表示为文档空间的向量，就可以利用欧氏距离、内积距离或余弦距离等向量之间的距离计算公式来表示文档间的相似度。
其中特征选取是文本表示的关键，方法包括：文档频率法（DF）、信息增益法和互信息法等等。
在做特征选取之前，一般还要进行预处理的工作，要对先对网页降噪。另外在实际的分类中，除了利用文档的内容特征之外，可能还会用到实际应用中所特有的特征，比如在网页分类中，可能用到url的特征、html的结构特征和标签特征等信息。
分类的基本步骤是这样的：定义分类体系，将预先分类过的文档作为训练集，从训练集中得出分类模型，然后用训练获得出的分类模型对其它文档加以分类。
3. 常用的分类算法
文档自动分类是学术界研究多年，技术上比较成熟的一个领域。目前分类算法主要分下面这些：
其中比较常用的是：支持向量机（SVM）方法、朴素贝叶斯(NB)方法、神经网络（NN）方法、K近邻（KNN）方法、决策树（Decision Tree）方法等。
•支持向量机（Support Vector Machines, SVM）由Vapnik在1995年提出，用于解决二分类模式识别问题。它通过寻找支持向量来确定决策面，并使分类间隔最大。SVM方法提供了解决 “维数灾难”问题的方法。SVM方法较好的理论基础和它在一些领域的应用中表现出来的优秀的泛化性能，尽管SVM算法的性能在许多实际问题的应用中得到了验证，但是该算法在计算上存在着一些问题，包括训练算法速度慢、算法复杂而难以实现以及检测阶段运算量大等等。
•朴素贝叶斯(Naive Bayes，NB) 概率分类器是机器学习中很常用的一种方法，其基本思想是利用单词和分类的联合概率来估计给定文档的分类概率。
贝叶斯公式：P(C|X)*P(X)=P(X|C)*P(C)
特征向量：X=(x1,x2,x3…) C={C1,C2,……}
其中P(C)是每个类别的先验概率，即，互联网上各个分类所占总页面的比例
P(X|C)：条件概率，表示在类别为C的训练集合中，X的分布情况。
P(X)：每个特征值的分布，由于特征值的分布是随机的，所以P(X)相等
•神经网络（Neural network，NN）技术是人工智能中的成熟技术。将神经网络用于文档分类时，需要为每个分类建立一个神经网络，通过学习得到从输入单词（或者更复杂的特征词向量）到分类的非线性映射。其计算量和训练时间非常庞大。
•KNN是著名的模式识别统计学方法，已经有四十年历史，它是最好的文本分类算法之一。KNN算法相当简单：给定一个测试文档，系统在训练集中查找离它最近的k个邻居，并根据这些邻居的分类来给该文档的候选分类评分。把邻居文档和测试文档的相似度作为邻居文档所在分类的权重。如果这k个邻居中的部分文档属于同一个分类，则该分类中的每个邻居的权重求和并作为该分类和测试文档的相似度。该方法的特点是允许文档可以属于多个分类。KNN通过查询已知类似的例子的情况，来判断新例子与已知例子是否属于同一类。
通过我们对现实网页的分类测试情况看，这些方法中SVM方法的效果是比较好的，但是性能不高; 朴素贝叶斯的分类效果虽然略差于SVM，但是性能上要好很多。
4. 网页分类应用
4.1 分类算法
实际应用中, 除了分类效果外, 速度是一个需要重点考虑的因素。
4.2 分类类别
在搜索引擎中, 在不同的应用场景下, 会有不同的分类的标准, 比如在链接调度中需要信息页、索引页这样的分类，不同类型的页面更新调度的周期不一样；排序对分类的要求又不同, 比如按表现形式分图片、视频等；按网站类型分为论坛、博客等，不同类型的页面抽取策略也会不尽相同；再按内容主题分成小说、招聘和下载等类别。对网页从多个维度进行分类，能更好给用户提供更为贴切的检索结果。
4.3 特征选取
在学术研究中, 一般比较重视分类算法的研究,在特征选择上比较忽视。传统的特征选择一般是用TF*IDF等方法选择内容关键字等，这也是我们使用的一个重要因子， 但是除内容特征之外，我们还会用到很多其它特征，比如：网站特征、html特征和url特征等，这些特征会明显的提高分类的准确率和召回率。

带你了解数据挖掘中的经典算法

数据挖掘的算法有很多，而不同的算法有着不同的优点，同时也发挥着不同的作用。可以这么说，算法在数据挖掘中做出了极大的贡献，如果我们要了解数据挖掘的话就不得不了解这些算法，下面我们就继续给大家介绍一下有关数据挖掘的算法知识。
1.The Apriori algorithm，
Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。这个算法是比较复杂的，但也是十分实用的。
2.最大期望算法
在统计计算中，最大期望算法是在概率模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量。最大期望经常用在机器学习和计算机视觉的数据集聚领域。而最大期望算法在数据挖掘以及统计中都是十分常见的。
3.PageRank算法
PageRank是Google算法的重要内容。PageRank里的page不是指网页，而是创始人的名字，即这个等级方法是以佩奇来命名的。PageRank根据网站的外部链接和内部链接的数量和质量俩衡量网站的价值。PageRank背后的概念是，每个到页面的链接都是对该页面的一次投票，被链接的越多，就意味着被其他网站投票越多。这个就是所谓的“链接流行度”，这个标准就是衡量多少人愿意将他们的网站和你的网站挂钩。PageRank这个概念引自学术中一篇论文的被引述的频度——即被别人引述的次数越多，一般判断这篇论文的权威性就越高。
3.AdaBoost算法
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器，然后把这些弱分类器集合起来，构成一个更强的最终分类器。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。这种算法给数据挖掘工作解决了不少的问题。
数据挖掘算法有很多，这篇文章中我们给大家介绍的算法都是十分经典的算法，相信大家一定可以从中得到有价值的信息。需要告诉大家的是，我们在进行数据挖掘工作之前一定要事先掌握好数据挖掘需呀掌握的各类算法，这样我们才能在工总中得心应手，如果基础不牢固，那么我们迟早是会被淘汰的。职场如战场，我们一定要全力以赴。

手机里的APP越来越多了，大家是如何页面分类的

第一个层面，最直接的桌面分类。
对于安卓手机来讲，桌面APP的分类和管理相对方便，一些定制系统也提供了不少分类的方式。自己动手的话无非是使用不同的屏幕和文件夹，分类的依据有：名称、功能、使用频次，喜好等。最直接的桌面分类牵扯到个人喜好和习惯，适合自己的才是好的，用起来方便舒服即可。
第二个层面，减少APP的安装，分类更轻松。
有些功能的使用未必用到APP，有些APP的使用频次并不高，可以不安装，或者用的时候再装。
1、使用浏览器，浏览器可以实现不少功能。
2、使用微信，微信的小程序目前已经比较丰富。
3、使用类似Hermit 这样的工具，把一些网页转化成应用。
4、使用系统的统计功能，比如IOS的卸载未使用的应用。
5、使用免安装应用，目前安卓系统中有不少类似的应用，用的时候搜索即可。
第三个层面，找到适合自己的应用，更好的使用，进而更好的进行分类。
如果对一个应用了解的足够深入，有助于减少类似应用的数量。比如：听歌用云音乐，聊天用微信，买东西用支付宝，收邮件用邮箱大师，看内容用进入头条，了解外部世界用推。这样下来其实是根据用处来对目前的APP进行了自动分类。
目前很多APP能够正常使用都需要用户的一些数据，在某一个方向上更多的贡献自己的数据，可以让应用发挥更多的价值，提供更好的服务。该过程背后的逻辑是让支撑APP背后的算法更懂你。
当对某APP足够了解，APP也足够了解自己，使用APP的功能可以借助其他入口，而非桌面上的图标。比如：搜索、通知、小空间、语音等，其中现在手机系统内的搜索功能挺强大的，可以试试。
以上通过三个层面来阐述了如何减少APP的数量，如何更好的分类和利用APP。除了在手机上进行分类，还可以通过设备进行分类，比如有些应用在电脑上体验更好，有些应用在平板上体验更好。总之，让APP找到合适的设备、合适的载体、合适的启动方式、合适的人，该过程就是一个让APP分类的过程。