蜘蛛抓取有好多动态链接是否有影响？要怎么处理？

发布者：刘 •2021-11-29 00:00 • 为什么？

我的网站显示的蜘蛛抓取，有好多动态链接是否有影响？是否需要处理。该如何处理?

11-29. 123.

如果不是自己网站本身实际存在的url，很可能是网站由于被人刷，导致的。

对应这些动态链接，可以在robots文件中，写一个屏蔽抓取动态链接的语法。

User-agent: *
Disallow: /*?*

更详细的robots设置方法，可以看下面链接课程

https://seo.jld5.cn/play/9492.html

发布者：刘

robots里这样写，就能避免蜘蛛爬这个“index.htm”这个首页？ sitemap里有大量的转码链接，是否有影响？

在线咨询：