Hi 你好,欢迎访问!登录

关于robots.txt的问题

2020-11-21°c
A+ A-
网站每天更新文章发外链,目的就是使网站在百度搜索引擎上有好的排名。但是还有很多未知的问题,例如:关于robots.txt的问题,虽然是一个问题,但是牵涉到了包含:bc、收录、搜索、索引、网站、页面、产品、内容、搜索引擎、html、robots等众多因素,下面小编在搜外问答上为大家找到了2条关于关于robots.txt的问题的解决方案。

关于robots.txt的问题问题及描述

我的网站是asp文件生产的html页面,就是说,同一个内容,有2个url与之相对应。
比如首页文件有index.asp,同时还生成了一个index.html,
简介页面文件有about.asp,同时还生成了一个about.html

最主要的是新闻和产品页面,
比如新闻页:
http://www.abc.com/news/shownews.asp?id=97
http://www.abc.com/news/97.html

再就是产品页:
http://www.abc.com/productshow/productshow.asp?id=34
http://www.abc.com/productshow/97.html

同时,我希望搜索引擎主抓取收录的都是html格式文件,那么我的robotx.txt写成:
User-agent: *
Disallow: /*.asp$
Disallow: /news/*?
Disallow: /productshow/*?

还是直接写
User-agent: *
Disallow: /*.asp$
Disallow: /*?*

关于robots.txt的问题参考方案

一、Disallow: /productshow/*
/news/*

二、建议:
User-agent: *
Disallow: /productshow/*
Disallow: /news/*

关于robots.txt的问题,看到这里,您是否还有疑问?总之,无论转到什么行业,都需要不断学习。所以拥有强大学习能力的人,无论之前是做什么工作,在之后面临转业都会有更大的选择空间。欢迎点击以下栏目继续熟悉关于:bc、收录、搜索、索引、网站、页面、产品、内容、搜索引擎、html、robots搜索引擎优化很累,是一个长时间坚持的进程,不要输给他人!

《关于robots.txt的问题》地址:https://www.laoyangseo.com/9932.html

提醒:本文来自网络,由本站整理,不代表老杨SEO网立场

版权声明:如无特别注明,转载请注明本文地址!

发表评论

选填

必填

必填

选填

请拖动滑块解锁
>>


  用户登录