网站链接、标题、关键词抓取工具-工具-何三笔记

背景

网站链接抓取工具是一款自动抓取全站链接、标题、关键词的工具

网站链接抓取工具

部分系统运行提示少xxx.dll文件，即系统位精简版系统，可通过正常系统C:\Windows\System32 目录下查找该文件，放到软件同目录下即可

支持单站点和多站点抓取，格式如下

https://www.h3blog.com
https://qq.com
...

抓取线程数量是针对每个站点的设置。

网站服务器可能有设置访问频率的限制，可以通过抓取间隔来设置每次抓取的频率。

设置请求user-agent比如百度蜘蛛：

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

网站中的链接有很多种比如图片、css样式、js文件链接等，可通过过滤设置将不要的链接后缀过滤掉。

运行过程中可查看运行抓取状态

抓取结果会根据域名自动在软件同目录下创建链接文件、标题文件、关键词文件

任何软件都有bug

软件采用授权机制，非诚勿扰

qq：466867714

本软件只可用于学习交流使用，请勿非法使用！后果与作者无关！