广州网站建设告诉你Robots文件的相关知识

Robots文件在网站优化中是一【yī】个【gè】很重要的文【wén】件，搜【sōu】索引擎爬行网【wǎng】站第一个抓取的【de】文件就是Robots文件。robots.txt是【shì】你对【duì】搜【sōu】索引【yǐn】擎制定的【de】一个如何索【suǒ】引你【nǐ】的网站的规则。通过该文件，搜索引擎就可以【yǐ】知道在你【nǐ】的网站中哪【nǎ】些文件是可以被索引【yǐn】的【de】，哪【nǎ】些文件是被拒绝索引【yǐn】的。那么关于Robots文件的知识你又知道多少呢？今天微勤广州网站建设就带大家了解一下。

一、robots.txt 文件的定义 

Robots是【shì】站点【diǎn】与spider沟通的重【chóng】要渠道【dào】，站点【diǎn】通过robots文件声明本网【wǎng】站中不想被搜索引擎收录的部【bù】分或【huò】者【zhě】指定搜索【suǒ】引擎只收录特定【dìng】的部分。

二、robots.txt文件的作用

robots.txt文件主要用来【lái】告【gào】诉搜索引擎蜘蛛网站哪些内容是【shì】可以爬行和【hé】抓【zhuā】取的，哪些页面是被【bèi】屏蔽的，不能爬行和抓【zhuā】取，例如我们可以通过【guò】robots.txt文【wén】件屏蔽网站【zhàn】的死【sǐ】链【liàn】接、屏【píng】蔽搜索【suǒ】引擎蜘【zhī】蛛抓取站点内【nèi】重复【fù】内容和页面和阻止搜【sōu】索引擎索引网【wǎng】站隐私性的内容

三、robots.txt文件注意事项

1、必须放置在一个站点的根目录下;

2、文件名必须全部小写;

3、最好是UTF-8编码。

四、robots.txt文件的基本语法

1、User-agent，搜索引擎蜘【zhī】蛛【zhū】的名称;常见【jiàn】蜘蛛名称【chēng】见文末。

2、Disallow，要拦截的部分，禁止蜘蛛访问的部分。

3、Allow，放行的部分，允许蜘蛛访问的部分。

4、Sitemap，网站地图索引文件。

五、robots.txt文件常见的用法举例

例子1：禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow:/

例子2：允许所有搜索引擎访问网站任何部分

User-agent: *

allow:/

或者创建一个空白的robots.txt文件放在根目录

本文由广州网站建设团队微勤网络整编【biān】而【ér】成，如需了解更多网站【zhàn】建设资【zī】讯、案例、各种【zhǒng】网站建设知【zhī】识可以联系广州网站建设公司微勤网络专业项目经理进行一对一问答

本文地【dì】址：广州【zhōu】网【wǎng】站建设告诉你Robots文件【jiàn】的相关知识：http://blog.zstm029.com/xcx/99.html