这种时候,最吃亏的是反应慢的人。手动去拆解几个对标站的 SEO 打法,光是打开网站、记录 URL 结构、看 H1 怎么写、整理关键词分布,最少也得花一两天,更别说还要把这些信息整理成可以喂给 AI 的格式。
所以我换了个思路:用 XCrawl + OpenClaw + Codex 把整条流水线跑起来。从搜索竞品、分析架构、抓取内容,到最后生成站点骨架,前后只花了不到两个小时。
三件工具,三个角色
先把工具组合讲清楚,免得后面看得云里雾里。
XCrawl 负责数据采集,是这套工作流的引擎。这次主要用到它三个内置 skill:
- Search:输入关键词,返回搜索引擎结果,支持多个主流搜索引擎
- Map:输入一个域名,返回该站所有可发现的 URL 列表
- Scrape:输入任意 URL,返回页面内容,输出格式可以选 Markdown、HTML、截图、摘要、链接列表
OpenClaw 负责调度。它通过 Agent 能力安装 XCrawl Skill,然后在对话里直接调用采集功能,拿到结果后顺手帮你整理分析。
Claude / Codex 是最后一棒,把采集到的结构化数据转成可用的代码骨架。
换句话说,XCrawl 是手脚,OpenClaw 是大脑,Codex 是写字的那只笔。
前置准备:把 XCrawl 接进 OpenClaw
正式开始之前,先做接入。整个过程三步:
- 去 XCrawl 官网找到 OpenClaw 的对接说明文档
- 把文档内容复制提供给 OpenClaw,让它自动完成安装
- OpenClaw 会提示你填入 API Key,去 XCrawl 后台生成一个粘贴进去就行
安装成功之后就可以正式开工。免费用户有 1000 个积分,跑完整套流程绰绰有余——我这次全程只用了 24 个。
第一步:拿到搜索结果前 10 名
在 OpenClaw 里调用 XCrawl 的 Search 功能,直接搜目标关键词。
我给它的指令很口语:「查谷歌搜索:gpt image 2,前 10 名的网站信息包括链接、名称、描述」。
几分钟之后就拿到了完整的结构化结果,每条都带链接、站名和描述。从这 10 个里面挑一个对标站,进入下一步。
第二步:用 Map 把对方的站点结构扒出来
知道排名只是开始,关键是要搞清楚——对方到底把哪些关键词做成了独立页面?这是 SEO 打法的核心。
这一步用 Map skill。输入对标站域名,它会自动扫出全站所有可发现的 URL。
让我有点意外的是,它返回的不是一个扁平的 URL 列表,而是一棵按功能分好类的结构树。这个对标站一共扫出 31 个 URL,结构大致是这样:
- 产品核心区:
/gpt-image-2/是主产品页 - 多入口承接:
/models/openai/gpt-image-2/下面拆出/、/api、/edit三个子页,分别对应普通用户、开发者调用、图片编辑三种使用场景
同一个产品,三个入口,各自承接不同意图的流量——这就是人家的 SEO 设计。整体是扁平结构,大部分页面直接挂在主域名下,没有深层嵌套,对爬虫友好,对用户也友好。
几十秒,对方的架构逻辑就摸清楚了。
第三步:把页面内容也拆出来
知道结构还不够,还得看看具体某个页面里到底放了什么。
用 Scrape skill,我直接在 OpenClaw 里说:「帮我抓一下这个文档中心里面,learn 下的文档内容」。一句话。
它返回的不是把页面文字简单复制一遍,而是一份整理好的结构化报告:页面定位是什么、内容按什么维度分类、每篇文章在讲什么、更新节奏如何、外部链接指向哪里。
这些本来要我自己挨个打开页面、逐篇扫描、手动整理的事,一次调用全部搞定,输出可以直接喂给下一棒的 AI。
第四步:把数据交给 Codex,生成站点
走到这一步,手里已经有了三样东西:站点结构、页面内容、内容策略。把它们整理成一个 prompt 丢给 Codex:
我要搭一个 GPT Image 2 的 AI 生图工具站。
下面是我通过 XCrawl 采集到的竞品数据:
- 竞品站点完整 URL 结构(31 个页面)
- 内容中心的完整文章列表和分类
- 核心产品页的页面内容
请基于以上数据帮我进行优化升级:
1. 设计这个站的页面结构
2. 生成完整的网站
剩下的就是 Codex 的活儿。
这套工作流真正的价值
这套流程的本质,是把「观察竞品、提炼规律、动手搭建」这三件原本散在不同环节的事,用工具串成一条流水线。
那些纯体力的采集、整理、格式转换全部交给机器,人只需要做真正需要判断的事——哪些词值得打、怎么做差异化、内容方向往哪走。这些是 AI 还替代不了的。
热词有红利期,错过就错过了。越早跑通工作流,越早能把这套方法迁移到下一个热词上去。下次再看到 Google Trends 上某个词突然飙升,你可以在两小时内做出反应,而不是花两天才搞清楚对手在干嘛。