# 423Down 软件下载站 - 搜索引擎抓取规则 (适配WP6.2+Nginx+宝塔)
User-Agent: *

# ========== 允许抓取核心内容（高权重页面） ==========
Allow: /
Allow: /*.html
Allow: /robots.txt
Allow: /wp-content/
Allow: /sitemap.xml

# ========== 允许静态资源（爬虫渲染必备） ==========
Allow: /*.png
Allow: /*.jpg
Allow: /*.jpeg
Allow: /*.gif
Allow: /*.bmp
Allow: /*.ico
Allow: /*.js
Allow: /*.css
Allow: /*.woff
Allow: /*.woff2

# ========== 禁止抓取敏感/低价值/违规页面 ==========
# WP核心敏感目录
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /wp-login.php


# 低价值页面（权重稀释）
Disallow: /?s=*
Disallow: /search/
Disallow: /feed/
Disallow: /*/feed/
Disallow: /*feed*
Disallow: /feed
Disallow: /rss
Disallow: /atom
Disallow: /tag/*
Disallow: /tag/*/page/

# 评论/交互垃圾页面
Disallow: /*comment*
Disallow: /*replytocom*
Disallow: /*respond*
Disallow: /*/comment-page*

# 分页/冗余路径（下载站禁止分页分散权重）
Disallow: /*/page/
Disallow: /*.html/*page*

# 站点自定义敏感路径
Disallow: /go/
Disallow: /verify/
Disallow: /vip/
Disallow: /liuyan/
Disallow: /tougao/
Disallow: /privacy/
Disallow: /copyright/
Disallow: /bulletin*
Disallow: /readers/
Disallow: /customer_search*

# 禁止PHP文件（前台纯静态HTML，安全+SEO）
Disallow: /*.php

# ========== 网站地图 ==========
Sitemap: https://www.423down.com/sitemap.xml