链接优化什么意思_seo优化，如何对网站的Robots.txt进行设置

SEO链接优化.txt怎么写。.txt是什么？这是一个文本文件，是搜索引擎抓取网页时最先看的文件。可以告诉搜索引擎哪些文件可以查看，哪些是禁止查看的。搜索机器人访问网站时，会先检查根目录下是否有.txt文件，如果有，则确定抓取范围，如果没有，则按照链接的顺序进行抓取。

SEO优化，如何设置网站的.txt

.txt有什么用呢？为什么要用.txt来告诉搜索机器人不要抓取我们的某些网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。归根结底，这些页面或文件是被搜索引擎收录的，用户是看不到的，它们大多是需要密码才能进入或者是数据文件，这种情况下如果让搜索机器人抓取，就会浪费服务器资源，增加服务器的压力，所以我们可以用.txt来告诉机器人重点收录我们的文章页面，提升用户体验。

1. 使用阻止网站重复页面

很多网站都会对同一篇内容提供多个版本，虽然这样方便了用户，但是却给蜘蛛带来了困难，因为蜘蛛无法区分哪个是主版本，哪个是副版本，一旦它们认为你是恶意重复，你就麻烦了。

用户代理： *

： //《禁止蜘蛛抓取文本页面》

2. 用于保护网站安全

很多人会疑惑这跟网站安全有什么关系？其实关系很大，很多低水平的黑客就是通过搜索默认后台进行登录，从而达到入侵网站的目的。

用户代理： *

：/admin/《禁止蜘蛛抓取admin目录下的所有文件》

3. 防止热链接

一般盗链的人很少，但一旦被搜索引擎“盗”了，就算你100M宽带也受不了。如果你不是做图片网站，又不想被搜索引擎“盗”的话，

用户代理： *

：.jpg

” ：匹配行终止符。

f.“#”：注释——解释性文字，可选。

g.：搜索机器人（也叫搜索蜘蛛）。

h.：百度搜索机器人（也叫搜索蜘蛛）。

i. 目录和URL的写法：都以斜杠（/）开头。

喜欢

：/

://

：/行政/

:/css/

2.列出.txt的一些具体用途：

（1）允许所有机器人访问

用户代理： *

：

或者

用户代理： *

允许： /

或者您可以创建一个空文件“.txt”。

（2）仅禁止某个机器人访问你的网站，如。

用户代理：

：/

3. 只允许某个特定的机器人访问您的网站，例如。

用户代理：

：

用户代理： *

：/

4.禁止访问特定目录

用户代理： *

：/行政/

:/css/

：

要阻止访问所有包含问号 (?) 的 URL（具体来说，以您的域名开头，后跟任意字符串，后跟问号，后跟任意字符串的 URL），请使用以下命令：

用户代理：

：/？

要指定 URL 末尾的匹配项，请使用

您可以将此模式匹配与 Allow 指令结合使用。例如，如果 ? 表示会话 ID，您可能希望排除所有包含 ? 的 URL，以确保不会抓取重复的页面。但是，以 ? 结尾的 URL 可能是您想要包含的页面版本。在这种情况下，您可以像这样设置 .txt 文件：

用户代理： *

允许： /？

指令将允许任何以 ? 结尾的 URL（具体来说，它将允许所有以您的域名开头，后跟任何字符串，后跟 ?，且 ? 之后没有任何内容的 URL）。

以上介绍大多出自http:-www--com//we...cn&=40360。百度的也类似，详情请见http:-www-baidu-com//.html。

网站上的 .txt 文件一般的查看方式是在首页后面加 .txt，比如淘宝的首页是 http:-www--com/.txt。请注意，只有当你的网站包含你不希望被搜索引擎收录的内容时，才需要使用 .txt 文件。如果你希望搜索引擎收录你网站上的所有内容，就不要创建 .txt 文件。

SEO优化，如何设置网站的.txt

网站.txt协议，你知道多少？

网站.txt文件是网站与搜索引擎沟通的通用协议，通过协议的设置，告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取：一方面可以保护网站的安全，更重要的是可以用于优化，减少无效页面的收录，提高网站的排名效果。...

..

但在实际操作中，大部分网站在书写上或多或少都存在一些不足，甚至因为技术失误，出现网站降级、不收录、K出等一系列问题。A5 包括我在内，在给客户做SEO诊断的过程中，经常会遇到这个问题，这个问题也算是很多网站的通病了。今天写下这篇文章，分享一下：关于.txt协议，你写对了吗？

1：设置为允许全站抓取

百度索引的页面越多，网站排名就越高？这是大多数站长的想法，事实上也确实如此。但事实并非绝对如此：低质量的页面被索引会降低网站的排名效果。你考虑过这一点吗？

如果您的网站架构不是很清晰，没有多余的“功能性”页面，不建议开启全站抓取。事实上，在A5的SEO诊断中，真正可以不封禁地允许全站抓取的网站只有极少数，以功能的丰富程度，不太可能允许全站抓取。

2. 哪些页面不建议抓取

对于网站有用的目录和页面，可以提升用户体验，但是从搜索引擎的角度来看，会造成服务器负担，比如出现大量翻页评论，这些对于优化来说没有任何价值。

另外还包括：网站伪静态后，必须屏蔽动态链接，防止搜索引擎抓取。用户登录目录，注册目录，没用的软件下载目录，如果是静态类型的站点，动态类型的链接也必须屏蔽：/?为什么呢？我们举个例子：

以上是客户网站上发现的一个问题，被百度收录的原因是有人恶意提交了该类型的链接，而网站本身却没有做好防护。

3. 写作细节注意事项

方法方面，大部分站长都懂，这里就不细说了，不懂的可以去百度百科看看，今天就说说一些不常见的，可能是很多站长都会问的。

1、比如：;/a 和 :/a/ 的区别。很多站长都见过这个问题：为什么有的协议后面有斜杠，有的没有？今天我想说的是：如果没有斜杠，所有以字母 a 开头的目录和页面都会被屏蔽，而后者则意味着屏蔽当前目录下所有页面和子目录的抓取。

一般来说，我们更多时候倾向于选择后者，因为界定得越广，越容易造成“误杀”。

2、JS文件和CSS是否需要屏蔽？很多网站都这么做了，但是我想说的是：站长工具上明确写到：屏蔽CSS和JS调用可能会影响页面质量的判断，从而影响排名。我们对此做过一些研究，百度也会有一定的影响。

3、屏蔽已删除的目录。很多站长经常会屏蔽已删除的目录，以防止出现404问题。其实，这样做真的是个好主意吗？即使你屏蔽了，如果之前的目录有问题，没有被蜘蛛从库里移除，还是会对网站造成影响。

最好的办法是，梳理相应的主要错误页面，提交死链接，定制404页面的处理，才能彻底解决问题而不是逃避问题。