搜索優(yōu)化:robots的寫法
來源:SEO優(yōu)化 2012-06-07
robots的寫作在網站中起著非常重要的作用,她代表著能否被所有的搜索引擎抓取,在百度上有一個好的排名。下面我們一起來看一下關于robots的一些知識。
1. 什么是robots.txt文件?
搜索引擎使用spider程序自動訪問互聯(lián)網上的網頁并獲取網頁信息。spider在訪問一個網站時,會首先會檢查該網站的根域下是否有一個叫做 robots.txt的純文本文件,這個文件用于指定spider在您網站上的抓取范圍。您可以在您的網站中創(chuàng)建一個robots.txt,在文件中聲明 該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。
2.常見蜘蛛形態(tài)
User-Agent:定義搜索引擎的類型· Disallow: 定義禁止搜索引擎收錄的地址 · Allow: 定義允許搜索引擎收錄的地址
案例:允許所有的蜘蛛抓取所有的頁面
User-agent: *Allow:/ /或者根目錄下放置robots.txt空文件
百度的蜘蛛形態(tài)
Baiduspider+(+$
Disallow: /
例10. 禁止訪問網站中所有的動態(tài)頁面
User-agent: *
Disallow: /*?*
例11. 禁止Baiduspider抓取網站上所有圖片
僅允許抓取網頁,禁止抓取任何圖片。
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
例12. 僅允許Baiduspider抓取網頁和.gif格式圖片
允許抓取網頁和gif格式圖片,不允許抓取其他格式圖片
User-agent: Baiduspider
Allow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.bmp$
例13. 僅禁止Baiduspider抓取.jpg格式圖片
User-agent: Baiduspider
Disallow: /*.jpg$
文章編輯: 365webcall在線客服系統(tǒng)(www.365webcall.com)
我的評論
登錄賬號: | 密碼: | 快速注冊 | 找回密碼 | ![]() |
| 亚洲A片一区日韩精品无码 美女网站高潮喷水45分钟 | 西西一级AAA片婬片免费 | 色色婷婷精品导航 | 三级电影农村妇女性生活视频 | 久久精品久久久久久久 | 亚洲国产高清无码视频 | 久草精品视频在线观看 | 成年人黄色视频免费观看 | 国产一区二区精品丝袜 | 免费的成人无码A片在线 | aaa久久视频在线播放 | 国产一级 片内射视频播放蘑菇 | 久久国产精华液亚洲午夜精品久久 | 国产精品昆明久久久综合888 | 国产偷抇久久精品A片91 | 亚洲AV日韩AV高潮无码喷芒果 | AA片在线观看视频在线播放 | 妺妺窝人体色WWW在线观看婚闹 | 国产欧美一级A片无码免费下 | 亚洲熟妇色自偷自拍另类 | 亚洲成a人片在线观看无码 午夜国产综合精品国产一区 | 欧美成人精品A片免费看一区 | 国产一级一厂片内射视频播放蘑菇 | 少妞躁BBB少妞躁BBBB | 搡老女人免费国产一级 | 天天躁日日躁狠狠躁的特色服务 | 法国少妇色情影片在线 | 欧美一级婬片AAAA毛片 | 亚洲中文字幕乱码在线观看视频 | 99re国产口爆吞精 | 综合色婷婷一区二区亚洲欧美国产 | 黄色成人网站视频在线免费观看福利无码 | 日本丰满脂肪人人爱视频在线观看50路 | 国产寡妇婬乱A毛片视频软件 | 狠狠躁18三区二区一区传媒剧情 | 国产人妻无码一区二区三区婷婷 | 少妇高潮久久久久久潘金莲 | 欧美成人巨大粗爽A片 | 国产精品成人无码久久久 | 午夜成人免费无码婬片在线观看 |