ScrapingBee 由两位开发者创办，提供网页抓取 API，处理浏览器渲染、代理和验证码。2019 年开发，2021 年初月订阅收入达 2 万美元，2025 年被 Oxylabs 以八位数美元收购。官网提供 1000 次免费调用，入门套餐每月 19 美元含 7.5 万额度。
Tags:Kevin Sahin 和 Pierre de Wulf 先后做过两个与商品价格有关的产品：一个提醒消费者降价，一个帮商家盯竞争对手报价。第一个后来卖掉了，第二个等了几个月才有付费客户，都没能做大。
第三次，他们不再把抓来的商品价格做成特定用途的工具，而是把自己一直在做的网页抓取，变成其他开发者可以直接调用的服务。这个叫 ScrapingBee 的产品，从 2019 年春天开始开发，到 2021 年初，月订阅收入做到了 2 万美元。
前两次产品也离不开抓网页。为什么单独把这件事拿出来卖，反而做成了生意？
大家好，我是哥飞。
ScrapingBee 提供的是网页抓取接口：开发者提交网址，它返回网页内容或整理后的数据。要让请求长期稳定，得处理浏览器渲染、访问限制、代理失效和验证码。
连做两个产品，才找到自己熟悉的问题
创始人 Kevin Sahin 做过金融数据聚合，还写过一本 Java 网页抓取的书；Pierre de Wulf 做数据工程。两人熟悉抓取技术，但前两个产品都不卖抓取服务。
2017 年底，他们做了 ShopToList：用户收藏想买的商品，降价后收到提醒。产品有人用，也在 Product Hunt 得到过关注。到了 2018 年 5 月，两人发现，消费者愿意装插件，却很难找到合适的收费方式，也没有稳定获得新用户的渠道，便把它卖给一家网页设计公司。
他们从使用记录里看到有人拿这个工具盯竞争对手的价格。于是第二个产品 PricingBot 转向企业，帮电商商家监测同行报价。2018 年 9 月推出后，直到 2019 年 1 月才等来第一位付费客户。之后继续做功能、尝试推广，客户增长仍然困难。两人复盘时还有一个更根本的问题：他们懂抓数据，却并不懂电商商家每天怎样定价。
做 PricingBot 时，他们每天还要和抓取工具打交道：有的慢，有的不稳定。监测价格这门生意没跑起来，支撑它的抓取工作却是两人熟悉、也反复需要的。2019 年春天，他们决定只做这一步，让需要网页数据的开发者自己决定拿数据做什么。
第一封收费邮件，50 分钟后有人付款
ScrapingBee 最早的版本用大约一个月做出来。两人从网页抓取论坛和增长社区找来约 10 位免费测试者，根据实际请求修功能。到 2019 年 6 月，他们没有继续用“免费用户数”证明产品受欢迎，而是给测试者发邮件：免费测试结束，继续使用需要订阅。邮件发出约 50 分钟，第一位客户付了钱。
这次，他们把抓取能力交给开发者，由开发者决定这些数据用来做什么。收费邮件发出去就有人续用，至少说明他们愿意为这一步付钱。抓取网页也不是一次性任务：今天读一批商品页，明天还要再读；目标网站一变，脚本就得跟着修。
有了第一批付费用户，他们继续修接口，也开始写抓取教程。Kevin 此前写过抓取教程，熟悉开发者常遇到的问题。2019 年 8 月，一篇讲如何避免抓取时被封禁的长教程分享到社区后，很快获得约 2 万次访问。后来他们又写了 Python、Ruby、PHP、C#、Node.js 等语言的实操文章。
教程带来了访问，产品仍要靠用户反馈改进。2019 年底，他们用额外 1 万次接口调用额度，邀请用户花 15 分钟聊使用中的问题；不到三个月访谈了约 100 人。到 2020 年，他们补上 Python 和 JavaScript SDK、七种语言的文档，以及配置请求的工具。开发者读完教程后，可以更快把接口接进自己的程序。
2020 年 5 月，两人加入 TinySeed 加速器，获得资金和经营支持。到当年 11 月，ScrapingBee 的月订阅收入达到 1 万美元，距离开始开发已约一年半。又过了约三个月，到 2021 年初，月订阅收入翻到了 2 万美元。
2021 年 6 月，他们招了第一位全职员工，继续完善数据提取和浏览器操作功能。同年 11 月，年化订阅收入达到 100 万美元。
到 2025 年，创始人在访谈中说 ScrapingBee 做到了约 500 万美元年化订阅收入。那年 6 月，Oxylabs 集团以八位数美元的现金价格收购它；产品继续独立运营，两位创始人也留下来。
教程写到最后，用户去哪里？
今天打开官网，先看首页给新用户什么承诺。
首页写得很直接：给出网页地址，用 API 抓取内容；代理、浏览器渲染和反封禁由服务端处理。页面同时摆着“1000 个免费调用额度、无需信用卡”。第一次来的人不用先买套餐，可以拿自己的目标网页试一次。
ScrapingBee 当前首页首屏。
再看一篇 2026 年 9 月发布的验证码处理教程。文章先解释验证码处理工具是什么、有哪些方案，以及各自的费用和维护代价；到后半段才讲“什么时候更适合托管抓取 API”：如果只需要网页数据，不想分别维护浏览器、代理和验证码服务，就把整条抓取链交给 API。
教程在这一节介绍托管抓取 API，并提供产品与免费试用链接。
教程讲完自建方案，才把不想长期维护的人引向产品：文中的产品链接通往官网，“免费试用”通往注册页。官网提供 1000 个免费额度；需要持续使用，入门方案每月 19 美元，包含 7.5 万个 API 额度。开发者可以先拿自己的目标网页测试，再决定是否订阅。
只抓一个静态网页，开源库加几行脚本可能就够了。每天抓几万个页面，还要应对封 IP、验证码和 JavaScript 渲染，维护抓取链本身就成了工作。ScrapingBee 收费，是替开发者接走这部分持续维护。
搜索带来什么人，他们进入哪张页面？
Similarweb 估算，ScrapingBee 在 2026 年 8 月的全球访问量约 20 万。现在，搜索仍是它重要的获客入口吗？
ScrapingBee 的网站访问量，来自 Similarweb 估算。
同月，自然搜索占 37.70%，直接访问占 39.62%，付费搜索占 10.24%。搜索仍在带来访客，网站也投了搜索广告。要看免费内容是否接住了这些人，还得追到具体关键词和页面。
Similarweb 的 2026 年 8 月流量来源分布。
具体哪些页面在获得搜索访问？Ahrefs 在 2026 年 9 月 24 日估算，ScrapingBee 的全球自然搜索月流量约为 4.64 万，其中美国约占三分之一。
首页是最大的入口，估算每月获得 23,740 次搜索访问，占全站的 51.2%。关键词列表前排反复出现不同地区的 scrapingbee、scraping bee：不少人已经知道这个产品，直接搜名字来找它。首页同时也承接网页抓取接口相关的搜索。
另一部分访问分散在教程和工具页面。流量靠前的页面包括：
这些入口覆盖了开发者做事时遇到的不同问题：选哪种工具、去哪找代理、怎样处理验证码、怎么把请求改成自己使用的代码。每个问题的流量未必很大，但网站可以用不同页面分别承接。
回到具体关键词，就更容易理解页面怎样获得这些访问。
美国关键词样本：网页抓取接口相关搜索进入首页，工具选择相关搜索进入对比文章。
例如，美国的 web scraping api（网页抓取接口）月搜索量约 2200，首页排第 3，估算带来 292 次访问；web scraping tools（网页抓取工具）月搜索量约 4100，对比文章排第 6，估算带来 187 次访问。187 次只是美国这一个词带来的访问；算上其他关键词和地区，这篇对比文章整页的估算月搜索访问为 2,065 次。
点开工具对比页，它同时列出商业抓取 API 和 Scrapy、Crawlee 等开源框架。有工程能力、想自己控制整个流程，可以选开源工具；需要稳定获取大量网页数据，又不想维护代理、浏览器和反封禁，就可以考虑托管 API。
同一篇文章把托管 API 和开源框架并排解释，读者能按自己的任务选择。
文章随后介绍各类工具，也把 ScrapingBee 放在 API 方案中；它的“免费试用”链接通往注册页。验证码教程回答一个具体故障，工具对比页帮人选择自建还是购买，两页都让读者看清自己要维护哪些环节。
今天的搜索入口里，找品牌、找服务的人和查技术问题的人都有。首页承接前两类需求，教程和工具页则给还不熟悉 ScrapingBee 的开发者提供了认识它的机会。
回到开头的问题：为什么前两个产品没做大，第三次却能做到月订阅收入 2 万美元？
两人一直会抓网页，但卖降价提醒、卖价格监测，还需要弄懂消费者为什么付钱、商家怎样做定价决策。到了 ScrapingBee，他们卖的是自己每天都要处理的抓取工作，能从实际使用中判断哪些环节值得改。
之后的动作也很具体：找来约 10 位测试者，结束免费测试并收费；有了付费用户，再用访谈找出使用中的问题，补 SDK、文档和请求配置工具。写教程则让他们有机会接触更多正在处理同类问题的开发者。产品改善和获客一起推进，才有了从首单到月订阅收入 2 万美元的过程。
这个案例值得学的是这些动作的顺序。先找人使用，再看对方是否愿意持续付费；从使用反馈里改产品，也从用户遇到的问题里找内容选题。这样写出来的教程，才能和卖的服务接得上。
我以前写过《新站不批量上页面，那要怎么做页面呢？从对SEO祛魅开始！》。如果你也在做工具站，可以拿一篇有排名的内容试着走一遍：它有没有回答搜索问题？文中的下一步通向哪里？产品接走的，是一次性操作，还是用户要反复做的工作？
我在「哥飞的朋友们」社群里也常和大家这样拆网站：从搜索词进入页面，再看用户能否试用，以及产品究竟替他省下哪部分工作。
如果你是第一次看我的文章，也简单介绍一下我自己。
我是哥飞，做网站和 SEO 很多年了，现在在运营“哥飞的朋友们”社群。平时我会和大家一起研究怎么挖掘需求、做网站、获取流量，再把流量变成收入。
如果你想进一步了解我和这个社群，可以从下面几篇文章开始：
想先了解我为什么做这个社群，以及它为什么能持续三年：
想看社群朋友如何把 SEO 和做网站变成真实结果：
我的4000人出海创业社群里，靠SEO赚到钱的人都做对了什么？
想看看社群里的分享和交流是什么样：
650位朋友来到深圳，在哥飞的朋友们2026年中分享交流会里都学到了这些
想看看大家如何在一天里把想法做成上线的网站：
一个词根、一个白天、175支交卷的队伍——“哥飞的朋友们”上站Hackathon深圳站侧记
如果看完之后觉得这个社群适合你，可以加哥飞微信咨询了解。
微信搜索框，输入 361079，点击查找 QQ 号，就能加哥飞微信了。
没有评论:
发表评论