解决方案 / 网页数据采集

Veilus 用于网页数据采集

用在你的浏览器配置文件中运行的 Playwright 脚本采集公开数据,每个配置文件都有自己的代理、Cookie 和登录状态。

免费下载 Veilus
示意图——名称、地区和时间均为示例。

Veilus 能为你做什么

脚本在真实的配置文件中运行

Veilus Flow 脚本在配置文件的浏览器中运行,所以每个请求都带着该配置文件的指纹、代理和 Cookie 发出,登录状态在多次运行之间保留在配置文件中。

URL 分配给多个配置文件

把 URL 放进“逐次消耗”模式的数据集:每次运行都取新的行,同时运行的配置文件永远不会拿到同一行,运行失败时会把占用的行退回,所以不会丢失任何 URL。

控制节奏,定时运行

并发数要设低:单次运行时设置启动之间的间隔延迟,定时任务则设置错开延迟;在脚本中的页面之间加入等待,并在固定时间安排采集。结果进入运行历史,AI 助手可以通过 MCP 读取。

面向开发者的 MCP、本地 API 和 SDK

如何开始

  1. 01

    创建配置文件并设置代理

    在 Windows 10/11(x64)或 macOS 13.5 及以上(Apple Silicon)上安装 Veilus,创建配置文件,并为每个配置文件设置代理。

  2. 02

    编写脚本

    让 AI 助手通过 MCP 编写,或自己编写。把采集到的内容以 JSON 格式输出;什么都没找到时抛出错误,这样这次运行会显示为失败。

  3. 03

    导入 URL、审批、定时运行

    把 URL 放进“逐次消耗”模式的数据集,在 Veilus Flow 中审批脚本,然后直接运行或设为定时任务。这需要付费套餐或 7 天 Pro 试用。

开箱即用脚本:价格监控(GitHub)

通过 MCP 用 Claude 编写你自己的检查脚本(GitHub)

文档中的网页数据采集教程(英文)

博客上的网页数据采集指南(英文)

关于 网页数据采集 的常见问题

01我需要会写代码吗?

不需要。把要采集的内容告诉通过 MCP 连接的 AI 助手,比如 Claude Code 或 Cursor。它会编写 Playwright 脚本,并在最多 3 个配置文件上试运行;你阅读并审批之后,脚本才会在更多配置文件上运行。

02一次运行会保留多少输出?

Veilus 会保留每个配置文件输出的最后 4096 个字符。如果采集的内容更多,让脚本用 Node 的 fs 模块写入文件,只输出一份简短摘要。

03试运行能拿到数据集的行吗?

不能。数据集的值只会提供给已审批的脚本;未审批脚本的试运行拿不到任何值,也不会预占任何行。请改为把它需要的值作为运行变量传入。

04配置文件能在多次运行之间保留登录状态吗?

可以。Cookie 和登录状态都保留在配置文件中,所以对同一个网站重复使用同一个配置文件,会话就会从一次运行延续到下一次。

05网站会屏蔽我的脚本吗?

没有任何工具能保证这一点,我们也不作此承诺。配置文件会保持一致的指纹、代理和 Cookie;网站如何对待这些访问,也取决于你采集的速度和数量。

06这样做被允许吗?

这取决于具体网站以及你所在的地区。从任何网站采集之前,请先查看它的条款和 robots.txt;有些网站禁止自动化采集。只采集公开数据,保持较低的节奏,并阅读我们的可接受使用政策。

阅读可接受使用政策

更多使用场景

Veilus 用于电商Veilus 用于代发货Veilus 用于联盟营销Veilus 用于广告投放

下一步

下载 Veilus。连接你的 AI 助手。下指令。

下载并免费试用 Pro 7 天 无需绑卡 · 配置文件默认留在你的电脑上