SEO

Search Engine Optimization

搜索引擎

网页爬虫收录网页（镜像）：深度优先遍历DFS、广度优先遍历BFS、部分PageRank策略、OPIC在线页面重要性计算策略、大站优先策略
内容处理：数据清洗、网页内容分词、建立正排索引、建立倒排索引
内容存储
内容排序
解析查询
robots.txt，robots协议，位于网站的根目录，用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取。
sitemap，站点地图/网站地图，一种xml文件，您可以在其中提供与您网站中的网页、视频或其他文件有关的信息，还可以说明这些内容之间的关系。可以构建后主动提交给搜索引擎。

正排索引：具体到一篇网页有多少关键词，特指属于该网页本身的内容集合，是一个网页。

倒排索引：一个检索关键词对应多少相关联的网页，也就是可备选网页集合，是一类网页。

搜索引擎也存在二八原则，头部的网页占据了大量的点击流量，也意味着巨大的商业价值。

搜索引擎优化又称为SEO，即Search Engine Optimization，它是一种通过分析搜索引擎的排名规律，了解各种搜索引擎怎样进行搜索、怎样抓取互联网页面、怎样确定特定关键词的搜索结果排名的技术。