蜘蛛是如何爬取内容的
蜘蛛先去抓取百度白名单的网站或者一些信任度非常高的站点和页面（例如：一些高权重网站和网站的首页），在抓取这些网页的内容时发现一些指向另外一些一些页面的链接。蜘蛛会把这些链接保存在自己的数据库里面，然后再根据抓取顺序依次来抓取这些网页。1、蜘蛛抓取网页的规则：对于蜘蛛说网页权重越高、信用度越高抓取越频繁，例如网站的首页和内页。蜘蛛先抓取网站的首页，因为首页权重更高，并且大部分的链接都是指向首页。然后通过首页抓取网站的内页，并不是所有内页蜘蛛都会去抓取。搜索引擎认为对于一般的中小型站点，3层足够承受所有的内容了，所以蜘蛛经常抓取的内容是前三层，而超过三层的内容蜘蛛认为那些内容并不重要，所以不经常爬取。2、如何看蜘蛛的抓取？通过iis日志可以看蜘蛛爬取了哪些内容，iis日志有百度蜘蛛、谷歌蜘蛛等。从iis日志里卖弄分析得出蜘蛛的类型、抓取时间、抓取的页面、抓取内容的大小以及返回的页面代码，200代表抓取顺利。

iis日志分析方法
IIS日志的用途就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况，可以更近距离的分析和接触蜘蛛。爬取次数，爬取时间点，爬取高峰期，爬取反应出来的HTTP状态码，为我们带来清晰的分析便利。一、各大搜索引擎的蜘蛛名称：百度（Baidu）爬虫名称（Baiduspider）谷歌（Google）爬虫名称（Googlebot）雅虎（Yahoo）爬虫名称（Yahoo Slurp）有道（Yodao）蜘蛛名称（YodaoBot）搜狗（sogou）蜘蛛名称（sogou spider）MSN的蜘蛛名称：msnbot二、IIS分析：案例日志：61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider(+http://www.baidu.com/search/spider.htm)"分析：1、61.135.168.22 是访问了是服务器ＩＰ为这个的网站．2、11/Jan/2009:04:02:45　表示蜘蛛爬行时间3、GET /thread-7303-1-1.html HTTP，表示蜘蛛抓取了这个页面。4、200 状态码表示蜘蛛抓取页面成功;404表示蜘蛛抓取页面失败。5、8450 表示此次抓取了8450个字节6、Baiduspider(+http://www.baidu.com/search/spider.htm)表示百度蜘蛛的名称三、基本状态码：200：请求已经完成，蜘蛛访问页面正常301：已经移动，永久重定向302：临时重定向304：蜘蛛爬取后发现，页面没有修改305：使用代理400：请求错误404：找不到页面四、IIS详细状态码含义： 100 - 表示已收到请求的一部分，正在继续发送余下部分。　　101 - 切换协议。　　200 - 确定。客户端请求已成功。　　2XX - 成功　服务器成功地接受了客户端请求。 (只要是2XX的状态，都表示成功)　　200 - 确定。客户端请求已成功。　　201 - 已创建。　　202 - 已接受。　　203 - 非权威性信息。　　204 - 无内容。　　205 - 重置内容。　　206 - 部分内容。　　300 - 针对收到请求，服务器可执行多种操作。　　301 - 永久移动转移，请求的内容已永久移动其他新位置。　　302 - 临时移动转移，请求的内容已临时移动新的位置　　304 - 未修改。自从上次请求后，请求的内容未修改过。　　307 - 临时重定向。服务器目前从不同位置响应请求，但请求者应继续使用原有位置来进行以后的请求。　　400 - 错误的请求。　　401 - 访问被拒绝。IIS 定义了许多不同的 401 错误，它们指明更为具体的错误原因。这些具体的错误代码在浏览器中显示，但不在 IIS 日志中显示：　　401.1 - 登录失败。　　401.2 - 服务器配置导致登录失败。　　401.3 - 由于 ACL 对资源的限制而未获得授权。　　401.4 - 筛选器授权失败。　　401.5 - ISAPI/CGI 应用程序授权失败。　　401.7 - 访问被 Web 服务器上的 URL 授权策略拒绝。这个错误代码为 IIS 6.0 所专用。　　403 - 禁止访问：IIS 定义了许多不同的 403 错误，它们指明更为具体的错误原因：　　403.1 - 执行访问被禁止。　　403.2 - 读访问被禁止。　　403.3 - 写访问被禁止。　　403.4 - 要求 SSL.　　403.5 - 要求 SSL 128.　　403.6 - IP 地址被拒绝。　　403.7 - 要求客户端证书。　　403.8 - 站点访问被拒绝。　　403.9 - 用户数过多。　　403.10 - 配置无效。　　403.11 - 密码更改。　　403.12 - 拒绝访问映射表。　　403.13 - 客户端证书被吊销。　　403.14 - 拒绝目录列表。　　403.15 - 超出客户端访问许可。　　403.16 - 客户端证书不受信任或无效。　　403.17 - 客户端证书已过期或尚未生效。　　403.18 - 在当前的应用程序池中不能执行所请求的 URL.这个错误代码为 IIS 6.0 所专用。　　403.19 - 不能为这个应用程序池中的客户端执行 CGI.这个错误代码为 IIS 6.0 所专用。　　403.20 - Passport 登录失败。这个错误代码为 IIS 6.0 所专用。　　404 - 未找到请求的内容。　　404.0 - 未找到文件或目录。　　404.1 - 无法在所请求的端口上访问 Web站点。　　404.2 - Web 服务扩展锁定策略阻止本请求。　　404.3 - MIME 映射策略阻止本请求。　　405 - 用来访问本页面的 HTTP 谓词不被允许(方法不被允许)　　406 - 客户端浏览器不接受所请求页面的 MIME 类型。　　407 - 要求进行代理身份验证。　　412 - 前提条件失败。　　413 - 请求实体太大。　　414 - 请求 URI 太长。　　415 - 不支持的媒体类型。　　416 - 所请求的范围无法满足。　　417 - 执行失败。　　423 - 锁定的错误。　　500 - 服务器内部错误。　　500.12 - 应用程序正忙于在 Web 服务器上重新启动。　　500.13 - Web 服务器太忙。　　500.15 - 不允许直接请求 Global.asa.　　500.16 - UNC 授权凭据不正确。这个错误代码为 IIS 6.0 所专用。　　500.18 - URL 授权存储不能打开。这个错误代码为 IIS 6.0 所专用。　　500.100 - 内部 ASP 错误。　　501 - 服务器无法完成请求的功能。　　502 - 服务器用作网关或代理服务器时收到了无效响应。　　502.1 - CGI 应用程序超时。　　502.2 - CGI 应用程序出错。　　503 - 服务不可用。这个错误代码为 IIS 6.0 所专用。　　504 - 网关超时。　　505 - HTTP 版本不受支持。我们继续学习下，如何看IIS日志代码，打开IIS日志后，你会看见里面有很多访问记录。baiduspider，Googlebot等就是蜘蛛了。蜘蛛爬过后都会留下记录的，我将状态代码列在下面：　　100 - 表示已收到请求的一部分，正在继续发送余下部分。　　101 - 切换协议。　　200 - 确定。客户端请求已成功。　　2XX - 成功　服务器成功地接受了客户端请求。 (只要是2XX的状态，都表示成功)　　200 - 确定。客户端请求已成功。　　201 - 已创建。　　202 - 已接受。　　203 - 非权威性信息。　　204 - 无内容。　　205 - 重置内容。　　206 - 部分内容。　　300 - 针对收到请求，服务器可执行多种操作。　　301 - 永久移动转移，请求的内容已永久移动其他新位置。　　302 - 临时移动转移，请求的内容已临时移动新的位置　　304 - 未修改。自从上次请求后，请求的内容未修改过。　　307 - 临时重定向。服务器目前从不同位置响应请求，但请求者应继续使用原有位置来进行以后的请求。　　400 - 错误的请求。　　401 - 访问被拒绝。IIS 定义了许多不同的 401 错误，它们指明更为具体的错误原因。这些具体的错误代码在浏览器中显示，但不在 IIS 日志中显示：　　401.1 - 登录失败。　　401.2 - 服务器配置导致登录失败。　　401.3 - 由于 ACL 对资源的限制而未获得授权。　　401.4 - 筛选器授权失败。　　401.5 - ISAPI/CGI 应用程序授权失败。　　401.7 - 访问被 Web 服务器上的 URL 授权策略拒绝。这个错误代码为 IIS 6.0 所专用。　　403 - 禁止访问：IIS 定义了许多不同的 403 错误，它们指明更为具体的错误原因：　　403.1 - 执行访问被禁止。　　403.2 - 读访问被禁止。　　403.3 - 写访问被禁止。　　403.4 - 要求 SSL.　　403.5 - 要求 SSL 128.　　403.6 - IP 地址被拒绝。　　403.7 - 要求客户端证书。　　403.8 - 站点访问被拒绝。　　403.9 - 用户数过多。　　403.10 - 配置无效。　　403.11 - 密码更改。　　403.12 - 拒绝访问映射表。　　403.13 - 客户端证书被吊销。　　403.14 - 拒绝目录列表。　　403.15 - 超出客户端访问许可。　　403.16 - 客户端证书不受信任或无效。　　403.17 - 客户端证书已过期或尚未生效。　　403.18 - 在当前的应用程序池中不能执行所请求的 URL.这个错误代码为 IIS 6.0 所专用。　　403.19 - 不能为这个应用程序池中的客户端执行 CGI.这个错误代码为 IIS 6.0 所专用。　　403.20 - Passport 登录失败。这个错误代码为 IIS 6.0 所专用。　　404 - 未找到请求的内容。　　404.0 - 未找到文件或目录。　　404.1 - 无法在所请求的端口上访问 Web站点。　　404.2 - Web 服务扩展锁定策略阻止本请求。　　404.3 - MIME 映射策略阻止本请求。　　405 - 用来访问本页面的 HTTP 谓词不被允许(方法不被允许)　　406 - 客户端浏览器不接受所请求页面的 MIME 类型。　　407 - 要求进行代理身份验证。　　412 - 前提条件失败。　　413 - 请求实体太大。　　414 - 请求 URI 太长。　　415 - 不支持的媒体类型。　　416 - 所请求的范围无法满足。　　417 - 执行失败。　　423 - 锁定的错误。　　500 - 服务器内部错误。　　500.12 - 应用程序正忙于在 Web 服务器上重新启动。　　500.13 - Web 服务器太忙。　　500.15 - 不允许直接请求 Global.asa.　　500.16 - UNC 授权凭据不正确。这个错误代码为 IIS 6.0 所专用。　　500.18 - URL 授权存储不能打开。这个错误代码为 IIS 6.0 所专用。　　500.100 - 内部 ASP 错误。　　501 - 服务器无法完成请求的功能。　　502 - 服务器用作网关或代理服务器时收到了无效响应。　　502.1 - CGI 应用程序超时。　　502.2 - CGI 应用程序出错。　　503 - 服务不可用。这个错误代码为 IIS 6.0 所专用。　　504 - 网关超时。　　505 - HTTP 版本不受支持。

如何写原创文章
搜索引擎倾向去原创的文章，如果互联网都是互相抄袭就没有新鲜的东西可言，如果这样用户就不会停留在百度上。原创文章的方法有如下4个：1、经验积累这就是为什么很多SEO经常在一个行业混的原因，因为在一个行业的时间久了便会对这个行业越了解，慢慢的就变成专家了。比如很多做机械行业的的SEO，各种机械的型号和参数以及性能报价都非常了解，他们在编辑文章时当然更加权威。2、整理别人的文章并增加附加价值首先你要能浏览大量的文章，整理一篇文章你需要了解和浏览10篇、20篇相同的文章。然后把这些文章好的地方整理放在一起，并且做一些修改和处理，然后加上自己的一些理解，那么这样一篇文章就是你自己的了。或者你还可以添加一些其他的元素，比如图片、表格、视频等，详细请参考什么是附加价值的内容3、整理百度知道、搜搜问答、论坛问答百度知道、搜搜问答、论坛回答的内容大部分是用户问由用户回答的问题，从这些问答里面整理一些内容作为网站的文章。在做详细整理时，SEOer应该对这个行业的内容稍微了解，不然很容易整理一些不正确的内容。4、整理贴吧、QQ群的内容贴吧和QQ群都是讨论专区、讨论去的特点是信息比较分散，并且前后不搭。但是QQ群的信息非常及时，比如刚发生的行业比较大的事件，QQ群很快就会有人在讨论。收集这些信息然后通过你自己的理解整理一篇文章发布到网站上，就是一篇高质量的原创新闻文章。

创建文本形式的Sitemap
对于绝大部分站长，想创建文本形式的 Sitemap 是最简易的。这里重申创建 Sitemap 的目的：让搜索引擎全面收录你的站点网页地址让搜索引擎了解你的站点网页地址的权重分布让搜索引擎了解你的站点内容更新情况。文本形式的 Sitemap 因为其条件所限，它向搜索引擎提供的信息只能是以上第1条。所以，如果你的技术允许，建议制作符合 Sitemap 协议的XMl 形式Sitemap。如何创建文本形式的 Sitemap？采用记事本文件，每行一个网址。除了网址，不能包含其他一切字符。每个文件可以添加的最多网址数目是50,000个。多于这个数目的，可以新开文件。记事本文件需使用 utf8 编码。（默认就是该编码，如出错，请另存为时选择编码）。整个记事本文件中，除了网址，不能包含其他一切字符。任意命名这个文件。以.txt 为扩展名最佳，如Sitemap1.txt。把这个记事本通过Ftp上传到最高级别的目录（根目录）。通过Google 网站管理员工具把该记事本存在的地址提供给 Google。（百度的呢？请点击这里：baidu Sitemap）Google 会对你所提交的 Sitemap 进行检查。如果出错，你可以查看这两点：是否网址中有超出 Sitemap 所在目录以上或之外的地址？如果你的地址列表里包含了首页地址，则Google 最终显示的收录数会比列表网址数少1。我的站点是大型网站，网址几十万个，这样制作显然不现实，怎么办？你的网址一定有一个规律吧？写个程序把你的网址列出就行了。聪明的人，用 excel 也可以完成。

SEO数据查询工具
SEO数据查询工具是SEO工作中使用最频繁的工作，最常用的是站长之家（http://tool.chinaz.com/）以及爱站（http://www.aizhan.com/）的查询。这里主要介绍站长之家的查询工具，爱站的查询类似。1、综合查询查询的内容包括：百度权重（百度不承认的权重）、快照时间、收录、反链、标题、关键词、描述（这三个也可以从源代码里面看）、首页关键词排名。看一个网站的好坏，就是看综合查询里面的各项数据。查询方法：将域名放在查询框，点击查询即可。2、死链接检查在网站信息查询的下拉框里面有死链接查询，查询站点有哪些死链接。中小型站点的死链接都可以用这个工具查询。注：（1）、查询没有100% 的精确度（2）、一些链接不是死链接也有可能被查询为死链接，检测方法是从网站里面点击，如果能点击进入就不算死链接。3、友情链接查询在SEO信息查询的下拉里面，友情链接查询用于查询跟你做友情链接网站的情况，比如：是否还存在链接、对方的权重、快照、做的锚文字、首页位置、连接数等。查询好的信息会一列显示，如果发现对方撤销了你的链接会红色字体显示“无反链”，所有用红色字体显示的数据都应该关注，很有可能就是非正常的数据。例如：快照一周没更新了会用红色显示快照时间，网站降权了会显示首页位置不是1。4、备案信息查询查询一个站点的备案信息，包括备案单位、备案人、许可号、网站名称、审核时间。5、关键词排名查询查询这个网站某一个特定关键词的排名，主要用于查询非首页关键词以及排名在100名以外的关键词。6、HTTP状态查询可以查询一个网站的301跳转、302跳转等7、WHOIS查询用于查询域名的注册信息，注册人姓名、注册商、DNS、域名状态、过期时间等。

关键词怎么确定？
网站要确定什么关键词，不是凭空想象的，而应该把这个决定权交给搜索引擎的关键词分析。
比如，一个减肥的网站，可以确定的关键词非常多：减肥方法、如何减肥、快速减肥、冬季减肥、减肥产品、健康减肥、减肥网、瘦身、瘦身方法。
那么到底如何来确定关键词呢？这里涉及到三点：
关键词的转换率。如果你的网站是卖减肥产品的，在选择关键词“减肥”和“减肥产品”这两个关键词上你可能会选择“减肥”因为它的指数比较高，但是我们建议选择“减肥产品”因为它更具有针对性，并且更容易做上来。
关键词的搜索频率。在中文意义上，我们认为“快速减肥方法”和“快速减肥办法”应该是一样的。但搜索引擎却不这样认为，百度的数据表明，“快速减肥方法”每日300次左右的搜索，而“快速减肥办法”每天的搜索量几乎为0。
关键词的竞争对手。比如，“减肥”这个关键词，虽然每日的搜索量在万计，但其竞争对手都比较成熟，还不是小站可以轻易匹敌。
总结：确定的关键词一定是和你的站点高度相关的。太热门的关键词小站或许做不来，但如果是没有流量的关键词，则排第一也是没有意义。
确定关键词的秘诀是：想想你是搜索者或消费者，而不是站长。

新手SEO必看，新站上线必做的七件事
1，提交各大站点平台
　　这对于新手来说应该都是知道的，提交的站点最好不要只提交百度，像360，搜狗也都要提交一遍，这是保证网站能够被各大搜索引擎收录。名义上我们尽管是在做百度排名，但是顺便把360和搜狗也坐上来，岂不是更好。
　　2，做好网站的重定向
　　一般都是将不带www的域名重定向到带www的域名上面，这是常见的重定向，我们一般可以通过服务器进行重定向或者是通过代码实现这一功能，前几天有朋友说他服务器和代码都不能够实现，我觉得这是不可能的。检查之后发现，是代码写错了，值得注意的是，在通过代码实现301时，一定要注意重定向的代码对网站的语言是有要求的，一定要看好在使用。
　　3，制作一个简单的404页面
　　404页面相对301页面比较难，但是我们可以去找一下相关的视频，简单制作一个404即可，只要保证用户进入404之后可以继续留在网站即可。如果只是一个简单的“NO Found”就有点坑爹了。
　　4，制作完整的sitemap地图
　　这个可以通过工具来实现，具体可以百度去查相关的sitemap生成器，而完整的sitemap是要有txt文件，html文件， xml文件三个。制作完成之后提交百度，搜狗和360。
　　5，为网站添加自动推动工具代码
　　这是一段网站产生新页面之后自动提交百度的代码，对网站的收录非常有帮助，具体操作方法就在百度站长平台当中有介绍，可以试着做一些，这就可以节省我们很多时间。
　　6，制作robots文件
　　一般而言采用模板的网站，robots文件也都是固定的，而如果是通过别人制作的网站，robots就可以简单的屏蔽一些没有用的文件或者是不想让蜘蛛爬去的页面等等，比如网站后台。记得要把sitemap的地址写进去，让百度蜘蛛重新走一遍地图。
　　7，进入正常的优化阶段
　　一般基础做好之后，最后就进入正常的优化阶段，有规律的更新原创，交换友链，然后发一些高质量的外链，这样就进入了下一步的深层次的优化。
　　高级seo总结：这七个步骤是我们新手SEO在接手到一个新站之后必做的几个步骤，无论做什么，我们只有打好基础，才能够让后面的工作事半功倍。希望这些可以帮助到刚刚步入SEO的新手们。

什么样的内容才能称为高质量的内容
如今每天产生的新网站数量成千上万，内容更是不计其数，文章更新的多了，很难避免不会有大量的重复。何况很多人更新的文章还是抄袭或者伪原创的，现在纯原创的文章都不能保证不和别人的一样，何况还是伪原创的。所以以是否原创为标准来判断一篇文章的质量是不够的。在内容营销的时代，用户希望看到一点不一样的，标新立异的。人的思维也是不断在变化的，如果，写的文章总是一成不变，最终也会被用户抛弃。用户的选择就是百度的选择，就是搜索引擎的选择。以下是腾鸿互联网科技有限公司总结的几点，希望对大家有帮助：1内容有价值，能够切实解决用户需求2内容有创新，能够写出别人没发现或者无法写出的细节3内容有吸引力，内容做到能吸引用户收藏，转发4内容排版简单，让读者一目了然，节省用户时间5内容有感染力，能让用户产生情感反应，惊讶，高兴等等有时我们要认识到，一篇好的文章，一定要解决用户的一个问题，但是很多时候用户往往不止有一个问题，我们一篇文章是无法解决的，这就给我们更多的机会来写高质量的内容解决用户的问题。要想写出高质量的内容，除了不断学习，还得不断思考，同时记下来。后面的路还很长，大家一起努力吧。

SEO交流群前面137中间303最后464

网站怎么提升权重？
蜘蛛大侠：怎么把权重1做到权重2？1、用百度统计数据把页面感调到最优。2、挖掘海量长尾关键词，写成文章让更多的人知道我们。3、试着去做SEM、知道、百科、熊掌号、抖音等对接好其他流量、

到seo这个职业，不得不说，没有个几年的功夫想要学好，那有这么简单，而且seo这是一个持续操作的过程，只有操作中才能。实现技能的提升。而有的小伙伴觉得学了很久seo，觉得学得很久了，但是在做网站的时候，网站排名依然还是优化不上去。这些事情是做seo的常见问题。没有系统的进行优化，没有一步一步的分析，就能上排名！我只想说哪有这么简单？而随着搜索引擎的算法的变更的规则，我们作为seo也应该随机应变！网站在前期是需要对特定的seo羡慕进行系统的数据分析，关键词的定位、以及优化的方案。1、分析自己产品的受众点分析用户看你这个产品，是否属于PC端、移动端、是否有地区，年龄，性别，职业的受众特点。分析好了这些才能更好的分析网站的核心关键词。以确定网站的布局，侧重点。2.思考每一个角度的关键词定位一个关键词的时候需要以不同的角度来定位，要从转化率角度、用户角度、seo角度来看，不要盲目的就定位了网站关键词。关键词定位好了，能降低优化的难度，提升网站的点击率和转化率。3.从转化率角度写标题title在前期必须写一些文章，切这些文章的标题最好都包含关键字，而且都是冲转换率，用户角度，seo角度出发的。适当的用一些seo角度出发高的来吸取用户的点击，来获取一定的转换率，曝光度。