SpiderFoot：200+ 模块自动化 OSINT 信息收集，一次扫描拿到完整攻击面地图

SpiderFoot200 模块自动化 OSINT 信息收集一次扫描拿到完整攻击面地图【免费下载链接】spiderfootSpiderFoot automates OSINT for threat intelligence and mapping your attack surface.项目地址: https://gitcode.com/GitHub_Trending/sp/spiderfootSpiderFoot 是一款开源 OSINT 自动化工具把 200 多个数据收集模块组织进一次扫描输入一个域名就能产出资产清单、威胁情报和可直接使用的风险结论适合做侦察的渗透测试人员与防御团队。为什么手工信息收集撑不住一个完整项目渗透测试或资产安全评估开始前总有一批重复劳动去证书透明度日志里翻历史域名、逐个查询被动 DNS、挨个 IP 黑名单网站核对、手工穷举常见子域名。这些数据源分散在几十个站点查询方式各不相同目标稍大一点大部分时间都花在复制粘贴上还容易漏。SpiderFoot 把这套活集中到一处完成。它从 2012 年开始持续开发当前版本 4.0内置 200 多个收集模块。模块之间是发布/订阅模型一个模块发现新主机自动喂给下游模块继续加工数据像流水线一样滚雪球式展开。你输入一个域名最后得到的是挂在这个域名下的完整资产集合而不是一堆需要自己再加工的单点查询结果。四步装好并启动 Web 界面 要求 Python 3.7 以上依赖全部列在 requirements.txt 里源码安装只需要一条链路git clone https://gitcode.com/GitHub_Trending/sp/spiderfoot cd spiderfoot pip3 install -r requirements.txt python3 ./sf.py -l 127.0.0.1:5001启动后浏览器打开http://127.0.0.1:5001就是扫描管理界面。所有扫描结果和配置存在本机 SQLite 数据库~/.spiderfoot/spiderfoot.db重启不丢。容器化部署的话仓库自带 Dockerfile构建镜像后docker run -p 5001:5001即可。第一次扫描怎么走通从输入到风险结论 先做个具体任务给一个域名看它开了哪些端口端口横幅里有没有泄露软件版本。终端执行python3 ./sf.py -s www.binarypool.com -m sfp_dnsresolve,sfp_portscan_tcp-s指定目标-m只选 DNS 解析和 TCP 端口扫描两个模块结果更聚焦。扫描结果按 Source / Type / Data 三列逐行打印其中会出现这样一行sfp_portscan_tcp Open TCP Port Banner SSH-2.0-OpenSSH_7.2p2 Ubuntu-4ubuntu2.10意思是 22 端口开放横幅直接暴露了 OpenSSH 版本和操作系统。扫描结束后日志里还会多出一条关联结论New correlation [open_port_version]: Software version revealed on open port: SSH-2.0-OpenSSH_7.2p2这条结论来自关联规则 open_port_version.yaml它用正则匹配端口横幅里的版本号命中就生成一条端口暴露软件版本的风险项。也就是说扫描产出的除了原始数据还有可以直接引用的结论Web 界面里同样能看到。能力版图按任务类型找模块 ️modules/ 下的模块按任务可以分成几类做不同工作时找对应的一类就行。子域名枚举和被动 DNS 怎么跑资产发现是最基本的需求。SpiderFoot 同时走多条路直接解析 DNS、按内置词表暴力枚举常见名字、从 crt.sh 拉历史证书、查询 SecurityTrails、Zetalytics 等被动 DNS 库还会尝试一次 DNS 区域传输。每发现一个新子域名都会自动进入队列被后续模块继续处理列表靠这条链路自然收敛。威胁情报与黑名单一次查完针对识别出的 IP 和域名它会同时查 Abuse.ch、Spamhaus、GreyNoise、Shodan、VirusTotal、HaveIBeenPwned 等多个情报源。大部分这类模块不需要 API key需要的也基本有免费额度。端口扫描与服务指纹内置端口扫描模块探测常见 TCP 端口并抓取横幅配合关联规则自动标出暴露版本号、数据库直接对外、远程桌面暴露在外面这类情况。联系人、账号与人物画像内部提取模块会扫描所有已收集内容识别邮箱、电话、人名再把用户名拿去 500 多个社交平台匹配。目标是人可以直接输入姓名做扫描对象时这条链路最有价值。云存储桶检测S3、Azure Blob、DigitalOcean Spaces、Google Storage 的探测模块会基于目标域名猜测桶名发现开放可读的桶会进一步列出内容。关联引擎把扫描结果变成风险结论4.0 之后关联分析引擎进来了开源版。规则是 correlations/ 目录下的 YAML 文件自带 37 条。比如 multiple_malicious.yaml 只在同一实体被 2 个以上情报源判为恶意时才触发风险级别标为 HIGHcloud_bucket_open.yaml 报告互联网可访问的云存储桶。自己写规则就是复制 template.yaml 改几个字段重启生效完整语法写在 correlations/README.md 里。调优与常见坑 ⚙️按用例选模块不想手动挑时用-u按场景选passive纯被动不主动碰目标、footprint、investigate、all四档-M列出全部模块-T列出全部数据类型。控制并发默认 3 个模块并行-max-threads可调整。目标防护严格就调低追求速度调高。留意慢模块TLD 全量搜索模块会遍历全网顶级域找同名域名官方文档明确提示可以非常慢不需要就关掉。API key 管理需要 key 的模块在 Web 界面集中配置支持导出/导入换机器不用重填。直接查库结果都在 SQLite 里界面可导出 CSV/JSON/GEXF也可以直接写 SQL 查询方便做二次分析。远程 CLIsfcli.py 可以连到已运行的 Web 服务在终端直接跑扫描取结果适合接进自动化脚本。边界与合规 ️SpiderFoot 的主动模块端口扫描、网页爬取、子域枚举会向目标发出大量请求目标侧很容易感知到。三条底线只扫有权限的目标红队场景先把授权范围和方式落成文字控制频率生产系统不要反复跑主动模块搜索引擎和第三方 API 的数据使用受各家条款约束商用前先看对方政策。反过来拿它盘自己组织的资产暴露面不存在授权问题。上手动作把 Web 界面跑起来输入一个你名下的测试域名用passive用例先跑一遍完整扫描。出结果后先看关联结论那几项再决定下一轮开哪些模块往深处挖。【免费下载链接】spiderfootSpiderFoot automates OSINT for threat intelligence and mapping your attack surface.项目地址: https://gitcode.com/GitHub_Trending/sp/spiderfoot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考