Spider Analyser – WordPress搜索引擎蜘蛛分析插件

Screenshots

Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志，并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。 Spider Analyser Pro 这是Spider Analyser的免费版本，包括蜘蛛概况、蜘蛛日志、蜘蛛列表（蜘蛛清单）、访问路径等大部分功能。如需使用到蜘蛛IP段、伪蜘蛛判断、蜘蛛拦截及蜘蛛文章爬取分析等功能，则需要升级到Pro版本！ 点击了解及购买Spider Analyser Pro版本! 功能包括： 1.蜘蛛概况 支持查看网站日常各大搜索引擎蜘蛛来访的数据； 今日蜘蛛 方便站长快速了解当日、昨日及30天平均的来访蜘蛛数、爬取URL数及平均爬取URL数。 趋势图 支持按今天、昨天、最近7天及最近30天查看蜘蛛数、爬取URLs总量、响应状态码及热门蜘蛛爬取链接数走势折线图，并可查看上一周期数据，以作对比分析。 Top10蜘蛛 支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛的爬取URL数及占比相关数据。 Top10蜘蛛爬取URL 支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛爬取URL的爬取次数及占比，方便站长对热门蜘蛛爬取页面URL进行分析。 Top10热门文章 按今天、昨天、最近7天及最近30天查看Top10热门文章，以便于站长分析热门文章蜘蛛爬取情况以进一步优化文章页SEO。 2.蜘蛛日志 支持按今天、最近7天及最近30天查看蜘蛛日志，包括蜘蛛访问时间、状态码、访问链接、蜘蛛IP及蜘蛛名称等参数。 并且支持按蜘蛛名称、状态码及时间进行筛选日志；以及可通过访问URL、蜘蛛IP搜索蜘蛛日志。支持单个或者批量忽略/拦截日志对应蜘蛛。 ℹ️ Tips 1.应重点关注301/302，及404状态码主流搜索引擎（如百度、谷歌和必应）蜘蛛日志。 2.蜘蛛日志分析工作，请查阅详细教程。 3.301/302状态码内部链接，尽可能修改为最终目标链接。 4.404状态码内部链接，应修复或重定向为正确链接。 5.重定向可安装Smart SEO Tool插件实现或手动配置。 3.蜘蛛列表 蜘蛛列表包含蜘蛛清单、蜘蛛IP段、疑似伪蜘蛛及蜘蛛拦截四部分的功能，其中： 蜘蛛清单 列表包括蜘蛛名称、蜘蛛类型、蜘蛛地址、最近来访时间、爬取URLs及占比情况等数据，支持按蜘蛛名称、蜘蛛类型及时间段筛选查询；并且支持单个或者批量忽略或者拦截指定蜘蛛。 ℹ️ Tips 1.蜘蛛清单数据引自蜘蛛查询工具。 2.部分不常见蜘蛛尤其是伪蜘蛛，可能类型显示为未知。但站长切勿以此为标准判别该蜘蛛是否为伪蜘蛛。 3.对于无需记录的蜘蛛爬虫，应该选择忽略或者拦截，避免浪费服务器资源。 蜘蛛IP段 在该列表可以查看不同蜘蛛对应IP段及其占比情况，支持按蜘蛛名、时间进行筛选查询。且支持单个或者批量拦截蜘蛛IP段。注：蜘蛛IP段拦截属于泛拦截，应审慎操作。 ℹ️ Tips 1.IP段拦截前，请确保该IP段蜘蛛均是不需要统计的，若要取消拦截，请通过蜘蛛拦截列表取消。 2.Pro版本用户可以考虑直接启用智能拦截，则无需执行手动拦截操作。 疑似伪蜘蛛 协作站长快速发现疑似伪蜘蛛名称及IP地址，便于快速对伪蜘蛛执行单个或者批量拦截操作。站长应该积极对伪蜘蛛进行拦截操作，避免伪蜘蛛的频繁爬取导致服务器性能下降。 ℹ️ Tips 1.疑似伪蜘蛛数据参考蜘蛛查询工具，仅供参考。 2.如果您的网站启用了全站CDN（如Cloudflare），真实蜘蛛也可能被判断为伪蜘蛛。全站CDN站点应结合CDN路线IP进一步判断蜘蛛的真伪。 蜘蛛拦截 蜘蛛拦截列表用于站长管理蜘蛛拦截清单，支持站长按名称、IP/IP段或者名称+IP/IP段对蜘蛛进行拦截操作。该拦截列表也支持对拦截动作反操作，即可单个或者批量移除拦截。 ℹ️ Tips 1.开启智能拦截前，需确定未采用全站CDN，否则可能误判拦截真实蜘蛛。 2.部分伪蜘蛛可能会伪装成真实蜘蛛名称，对于伪蜘蛛拦截请使用IP拦截方式。 3.按蜘蛛名称拦截，需准确填写蜘蛛名称，区分大小写，否则可能会拦截失败。 4.蜘蛛拦截仅对前端页面爬取蜘蛛有效，对后端数据爬取蜘蛛无效。 4.访问路径 支持按今天、最近7天及最近30天查看蜘蛛访问路径（爬取页面URL）具体信息列表，包括URL、URL类型、爬取次数及占比情况等数据。 并且支持按蜘蛛名称、类型、状态、时间、访问URL及蜘蛛IP进行筛选查询。同时，站长还可以快速查看各类型的访问路径的蜘蛛爬取占比饼状分布图。 ℹ️ Tips 1.重点关注主流搜索引擎对文章页及Sitemap的访问爬取。 2.持续更新发布高质量文章内容，以吸引搜索引擎爬取。 3.安装Smart SEO Tool插件或其他类似插件，通过sitemap生成配置剔除不重要链接类型。 4.对于主流搜索引擎高频次爬取文章页，应该适当地添加内部链接。 5.文章爬取 此功能模块是为了方便站长按蜘蛛名称、不同状态的文章类型及时间，快速了解网站文章蜘蛛访问量、出链数及入链数。站长再根据这几个指标，对文章进行内链布局处理，提升蜘蛛爬取频率，从而提升网站收录量。 ℹ️ Tips 1.蜘蛛访问量直接体现搜索引擎对URL的嗅觉，蜘蛛访问频率越高，URL被收录索引几率越大。 2.蜘蛛访问量频率低且未收录文章，可以尝试内容重建及增加入链数。 3.尽可能降低文章指向其他网站的链接数，又或者外链增加nofollow属性。 4.收录状态数据通过搜索引擎推送插件引入，建议站长结合这两插件做好链接推送和爬虫分析工作。 6.插件设置 记录管理-支持自定义蜘蛛类型及设置蜘蛛记录状态。 ℹ️ Tips 1.如无需统计某一蜘蛛，可以通过操作修改该蜘蛛状态为忽略即可。 2.对于一些非必要蜘蛛，应直接拦截，节省服务器资源。 3.此列表的占比计算范围：最近7天的蜘蛛数据。 4.蜘蛛名称及类型数据引自蜘蛛查询工具。 链接自定义-允许通过设置链接规则来区分蜘蛛爬取URL链接类型，支持添加自定义或者修改新增现有链接类型的规则。 ℹ️ Tips 1.支持通配符形式链接规则，如 /mp-api/* 2.如有不同于预设的链接类型，可以通过添加自定义来新增；否则建议在预设类型基础上修改新增。 日志设置-支持设置插件日志保留时间周期（最近30天、最近3个月、最近6个月、最近1年或永久），日志备份及删除和自定义蜘蛛。 ℹ️ Tips 1.日志保留周期可根据自身实际情况选择，一般保留30天即可。如数据量非常大，改为近7天亦可。 2.日志更新方式需写入数据库，为保证服务器性能，可考虑每小时（默认）甚至每天更新。 3.如蜘蛛日志数据量非常庞大，建议备份日志并删除，忽略及拦截不必要的蜘蛛。 Spider Analyser插件非常适合站长作为网站SEO优化的辅助工具，通过数据统计深入了解更大搜索引擎蜘蛛爬取页面URL的行为习惯。WordPress站长可以利用该插件，并结合WordPress网站SEO优化插件、百度推送插件和关键词推荐插件，对WordPress网站内容的搜索引擎收录及排名优化可以做到事半功倍的效果！ Spider Analyser插件的蜘蛛爬虫数据引自蜘蛛爬虫查询在线工具。该工具整合了1600+蜘蛛爬虫数据，涵盖的类型包括搜索引擎、营销、快照、监控、信息流、链接检测、爬虫、工具、速度检测和漏洞/病毒扫描等。 您也可以使用该在线工具在线，通过蜘蛛名称、IP地址和用户代理字符串，来查询蜘蛛的详细信息及判断蜘蛛爬虫的真伪！ 其他WP插件 Spider Analyser是一款专门为WordPress开发的搜索引擎蜘蛛分析插件. 闪电博（wbolt.com）专注于原创WordPress主题和WordPress插件开发，为中文博客提供更多优质和符合国内需求的主题和插件。 除了Spider Analyser插件外，目前我们还开发了以下WordPress插件： 多合一搜索自动推送管理插件-历史下载安装数190,000+ 热门关键词推荐插件-最佳关键词布局插件 IMGspider-轻量外链图片采集插件 Smart SEO Tool-高效便捷的WP搜索引擎优化插件 MagicPost – WordPress文章管理功能增强插件 WPTurbo -WordPress性能优化插件 WP VK-WordPress知识付费插件 Online Contact Widget-多合一在线客服插件 更多主题和插件，请访问wbolt.com! 如果你在WordPress主题和插件上有更多的需求，也希望您可以向我们提出意见建议，我们将会记录下来并根据实际情况，推出更多符合大家需求的主题和插件。 WordPress资源 由于我们是WordPress重度爱好者，在WordPress主题插件开发之余，我们还独立开发了一系列的在线工具及分享大量的WordPress教程，供国内的WordPress粉丝和站长使用和学习，其中包括： 1. WordPress学院: 这里将整合全面的WordPress知识和教程，帮助您深入了解WordPress的方方面面，包括基础、开发、优化、电商及SEO等。WordPress大师之路，从这里开始。 2. 关键词查找工具: 选择符合搜索用户需求的关键词进行内容编辑，更有机会获得更好的搜索引擎排名及自然流量。使用我们的关键词查找工具，以获取主流搜索引擎推荐关键词。 3. WOrdPress错误查找: 我们搜集了大部分WordPress最为常见的错误及对应的解决方案。您只需要在下方输入所遭遇的错误关键词或错误码，即可找到对应的处理办法。 4. SEO工具箱: 收集整理国内外诸如链接建设、关键词研究、内容优化等不同类型的SEO工具。善用工具，往往可以达到事半功倍的效果。 5. SEO优化中心: 无论您是 SEO 初学者，还是想学习高级SEO 策略，这都是您的 SEO 知识中心。 6. 蜘蛛查询工具: 网站每日都可能会有大量的蜘蛛爬虫访问，或者搜索引擎爬虫，或者安全扫描，或者SEO检测……满目琳琅。借助我们的蜘蛛爬虫检测工具，让一切假蜘蛛爬虫无处遁形！ 7. WP开发宝典: WordPress作为全球市场份额最大CMS，也为众多企业官网、个人博客及电商网站的首选。使用我们的开发宝典，快速了解其函数、过滤器及动作等作用和写法。 8. robots.txt测试工具: 标准规范的robots.txt能够正确指引搜索引擎蜘蛛爬取网站内容。反之，可能让蜘蛛晕头转向。借助我们的robots.txt检测工具，校正您所写的规则。 9. WordPress主题检测器: 有时候，看到一个您为之着迷的WordPress网站。甚是想知道它背后的主题。查看源代码定可以找到蛛丝马迹，又或者使用我们的小工具，一键查明。