早上在查看google search时，发现我网站的站点地图sitemap.xml已经一星期多没被读取了。

我感觉不对劲，于是提交了一个新的站点地图上去，显示无法读取此站点地图，状态是无法获取，读取站点地图失败。

网上的解决方法五花八门，最多说的是删除站点资源，重新添加。

先到网址检查那里测试sitemap.xml，请求编入索引会报错：在测试实际版本的过程中，系统检测到该网址存在索引编制问题.

解决不了，我尝试删除资源，然后重新添加。

还是没用。

等我解决了问题再写这篇文章。

我随后写了这篇文章：nginx-代理/转发-GitHub Pages 静态页面博客

发现使用Nginx后问题没有解决。

我配置robots.txt:

# allow google
User-agent: *
Allow: /

然后我发现了一个测试网站：富媒体搜索结果测试 - Google Search Console

如果你的网站不能通过测试，那么自然无法爬取。我在添加了robots.txt后就，谷歌搜索就可以正常爬取我的博客了。

以及这个网站可以查看谷歌爬虫的情况：Search Console - Crawl Stats

我使用GitHub Pages的jekyll静态博客自动配置的HTTPS，可以运行爬虫，参考：GitHub Pages博客：自定义域名，HTTPS，CAA

xxx.com -> xxx.github.io (GitHub CAA HTTPS) √

cloudflare cdn -> github pages ????

cloudflare cdn-> nocache cdn -> nginx -> github pages ×