这种时候,最吃亏的是反应慢的人。手动去拆解几个对标站的 SEO 打法,光是打开网站、记录 URL 结构、看 H1 怎么写、整理关键词分布,最少也得花一两天,更别说还要把这些信息整理成可以喂给 AI 的格式。

所以我换了个思路:用 XCrawl + OpenClaw + Codex 把整条流水线跑起来。从搜索竞品、分析架构、抓取内容,到最后生成站点骨架,前后只花了不到两个小时。

三件工具,三个角色

先把工具组合讲清楚,免得后面看得云里雾里。

XCrawl 负责数据采集,是这套工作流的引擎。这次主要用到它三个内置 skill:

  • Search:输入关键词,返回搜索引擎结果,支持多个主流搜索引擎
  • Map:输入一个域名,返回该站所有可发现的 URL 列表
  • Scrape:输入任意 URL,返回页面内容,输出格式可以选 Markdown、HTML、截图、摘要、链接列表

OpenClaw 负责调度。它通过 Agent 能力安装 XCrawl Skill,然后在对话里直接调用采集功能,拿到结果后顺手帮你整理分析。

Claude / Codex 是最后一棒,把采集到的结构化数据转成可用的代码骨架。

换句话说,XCrawl 是手脚,OpenClaw 是大脑,Codex 是写字的那只笔。

前置准备:把 XCrawl 接进 OpenClaw

正式开始之前,先做接入。整个过程三步:

  1. 去 XCrawl 官网找到 OpenClaw 的对接说明文档
  2. 把文档内容复制提供给 OpenClaw,让它自动完成安装
  3. OpenClaw 会提示你填入 API Key,去 XCrawl 后台生成一个粘贴进去就行

安装成功之后就可以正式开工。免费用户有 1000 个积分,跑完整套流程绰绰有余——我这次全程只用了 24 个。

第一步:拿到搜索结果前 10 名

在 OpenClaw 里调用 XCrawl 的 Search 功能,直接搜目标关键词。

我给它的指令很口语:「查谷歌搜索:gpt image 2,前 10 名的网站信息包括链接、名称、描述」。

几分钟之后就拿到了完整的结构化结果,每条都带链接、站名和描述。从这 10 个里面挑一个对标站,进入下一步。

第二步:用 Map 把对方的站点结构扒出来

知道排名只是开始,关键是要搞清楚——对方到底把哪些关键词做成了独立页面?这是 SEO 打法的核心。

这一步用 Map skill。输入对标站域名,它会自动扫出全站所有可发现的 URL。

让我有点意外的是,它返回的不是一个扁平的 URL 列表,而是一棵按功能分好类的结构树。这个对标站一共扫出 31 个 URL,结构大致是这样:

  • 产品核心区/gpt-image-2/ 是主产品页
  • 多入口承接/models/openai/gpt-image-2/ 下面拆出 //api/edit 三个子页,分别对应普通用户、开发者调用、图片编辑三种使用场景

同一个产品,三个入口,各自承接不同意图的流量——这就是人家的 SEO 设计。整体是扁平结构,大部分页面直接挂在主域名下,没有深层嵌套,对爬虫友好,对用户也友好。

几十秒,对方的架构逻辑就摸清楚了。

第三步:把页面内容也拆出来

知道结构还不够,还得看看具体某个页面里到底放了什么。

用 Scrape skill,我直接在 OpenClaw 里说:「帮我抓一下这个文档中心里面,learn 下的文档内容」。一句话。

它返回的不是把页面文字简单复制一遍,而是一份整理好的结构化报告:页面定位是什么、内容按什么维度分类、每篇文章在讲什么、更新节奏如何、外部链接指向哪里。

这些本来要我自己挨个打开页面、逐篇扫描、手动整理的事,一次调用全部搞定,输出可以直接喂给下一棒的 AI。

第四步:把数据交给 Codex,生成站点

走到这一步,手里已经有了三样东西:站点结构、页面内容、内容策略。把它们整理成一个 prompt 丢给 Codex:

我要搭一个 GPT Image 2 的 AI 生图工具站。

下面是我通过 XCrawl 采集到的竞品数据:
- 竞品站点完整 URL 结构(31 个页面)
- 内容中心的完整文章列表和分类
- 核心产品页的页面内容

请基于以上数据帮我进行优化升级:
1. 设计这个站的页面结构
2. 生成完整的网站

剩下的就是 Codex 的活儿。

这套工作流真正的价值

这套流程的本质,是把「观察竞品、提炼规律、动手搭建」这三件原本散在不同环节的事,用工具串成一条流水线。

那些纯体力的采集、整理、格式转换全部交给机器,人只需要做真正需要判断的事——哪些词值得打、怎么做差异化、内容方向往哪走。这些是 AI 还替代不了的。

热词有红利期,错过就错过了。越早跑通工作流,越早能把这套方法迁移到下一个热词上去。下次再看到 Google Trends 上某个词突然飙升,你可以在两小时内做出反应,而不是花两天才搞清楚对手在干嘛。