想使用 OxyLabs 的住宅代理服务器？那么你一定不能错过这篇文章。它是最全面的 OxyLabs 住宅代理用户指南。

快速入门

这是目前开始使用住宅代理的最快方法。您可以向 https://ipinfo.io 通过我们的 背面连接入口.不要忘记更换 用户名 和 密码 使用代理用户凭据。

curl -x pr.oxylabs.io:7777 -U "customer-USERNAME:PASSWORD" https://ipinfo.io

让我们使用来自法国的代理进行一次请求。您只需添加 cc-FR 到用户名字符串中。下面是 cURL 中的一个示例，以及 这里 可以找到其他语言的代码示例。

curl -x pr.oxylabs.io:7777 -U "customer-USERNAME-cc-FR:PASSWORD" https://ipinfo.io

下面是另一个通过代理从英国伦敦发出请求的示例。添加 cc-GB-city-london 到用户名字符串，就可以做到这一点。点击 这里 获取更多关于如何掌握城市级代理定位的信息。

curl -x pr.oxylabs.io:7777 -U "customer-USERNAME-cc-GB-city-london:PASSWORD" https://ipinfo.io

如果您想为多个请求保留同一个代理，该怎么办？ 会话控制 使之成为可能。只需添加 sessid-abc12345 的用户名字符串，其中 abc12345 可以是任何随机字符串，只要您持续发送带有此字符串（会话 ID）的请求，我们就会尽力为您提供相同的代理 IP。

curl -x pr.oxylabs.io:7777 -U "customer-USERNAME-sessid-randomString123:PASSWORD" https://ipinfo.io

查看我们的 集成教程 使用最流行的第三方工具，如 多重登录, 暗影火箭或 SwitchyOmega.

如果您有任何其他问题，请联系您的客户经理或我们的支持团队，电话号码是 support@oxylabs.io.

要了解您的使用统计、生成流量、请求次数等信息，请登录 dashboard.oxylabs.io.您还可以添加代理用户（子用户）并单独跟踪其统计数据。

反向连接入口节点

pr.oxylabs.io:7777

单个反向连接代理可通过用户名中的附加参数选择特定的国家或城市代理。这种方法还支持会话控制。以下是证书结构示例：

customer-USERNAME-cc-US-city-CITY-sessid-abcde12345:PASSWORD

如果添加多个 地点 参数，系统将忽略所有参数，只有一个参数除外。因此，了解哪些参数会被优先处理非常重要。层次结构如下：

1. 城市
2. 国
3. cc

例如，如果您的查询包含以下参数 客户名称-cc-美国-城市-巴黎-美国-加利福尼亚州, 您将收到来自美国巴黎的代理服务器。

中国入境节点

https://a81298871.com:8000 - 香港

https://cnt9t1is.com:8000 - 北京

为了更好地连接中国，我们在香港和北京地区配置了入口节点。请注意，这是一个 HTTPS 代理节点。所有用户名参数都与普通入口节点相同。

请注意，某些第三方工具目前无法使用香港和北京的入口节点。可与上述入口节点配合使用的第三方工具有

1. 1. 1. Oxylabs 代理管理器
      2. SwitchyOmega
      3. 暗影火箭
      4. 邮政

我们目前正在修复支持 HTTPS 协议的其他集成。

如果您从中国连接到我们的住宅网络，但仍然遇到所提供的入口节点问题，请通过以下方式联系我们 support@oxylabs.io 我们将一起找出解决方案。

基本查询

基本查询只需通过 用户名 和 暗号.无需其他参数。这种查询将导致从一个随机 IP 地址（代理）发出请求。每次新请求都将使用不同的代理。

在本例中，查询 ipinfo.io 是通过随机 IP 执行的：

curl -x pr.oxylabs.io:7777 -U "customer-USERNAME:PASSWORD" https://ipinfo.io

选择国家

添加 cc 标记可用于指定使用哪个国家的 IP 处理请求。该参数的值是一个不区分大小写的双字母国家代码。 3166-1 alpha-2 格式.例如 可选择丢弃 德国、 GB 联合王国、 TH 为泰国代理。更多详情，请参阅示例。

在本例中，查询 ipinfo.io 是从德国的一个随机 IP 地址执行的：

curl -x pr.oxylabs.io:7777 -U "customer-USERNAME-cc-DE:PASSWORD" https://ipinfo.io

选择国家

要从指定的美国州获取代理，请添加 站 标记到授权字符串中。例如 美国加利福尼亚州, 我们_伊利诺伊州.可下载 TXT 格式的受支持城市完整列表 这里.

在本例中，查询 ipinfo.io 是从美国加利福尼亚州的一个随机 IP 地址执行的：

curl -x pr.oxylabs.io:7777 -U "customer-USERNAME-st-us_california:PASSWORD" https://ipinfo.io

选择城市

为了缩小城市一级的目标范围，一个 城市 参数。例如 cc-DE-city-munich 表示将由德国慕尼黑的代理处理查询。我们支持世界上的所有城市，但并不保证在这些城市都有代理。大多数热门城市都有代理服务器可供选择。

以下是几个有效组合的例子 cc 和 城市 参数
cc-US-city-los_angeles
cc-IT-city-rome
cc-TH-city-bangkok
cc-JP-city-tokyo
cc-AU-城市-悉尼
cc-ES-city-barcelona

在本例中，查询 ipinfo.io 是从德国慕尼黑的一个随机 IP 地址执行的：

curl -x pr.oxylabs.io:7777 -U "customer-USERNAME-cc-DE-city-munich:PASSWORD" https://ipinfo.io

会话控制

添加 sessid 参数，例如 sessid-abc12345启用会话控制。这意味着，代理不会随以下请求而改变。下面的示例展示了会话控制的工作原理：

只要有活动（请求），系统就会保持与特定会话 ID 关联的相同 IP。60 秒无活动后，IP 会自动更换为另一个。

例如* 您的初始查询与 sessid-random123 获得分配的代理 IP 地址 1.1.1.1 * 只要您不断发送具有相同会话 ID 的新请求，且该 IP 地址在线并可用，系统就会通过以下方式路由您的查询 1.1.1.1 * 如果您停止发送请求或 IP 地址不再在线，系统将在 60 秒后分配一个新的代理 IP。* 这意味着您下一次查询 sessid-random123 将通过不同的 IP 地址路由。

标准会话时间为 10 分钟，但可以延长。请联系您的客户经理了解详情。

第一次请求将选择德国 IP，然后新的查询将保留相同的 IP（会话控制）：

curl -x pr.oxylabs.io:7777 -U "customer-USERNAME-cc-DE-sessid-abcde12345:PASSWORD" https://ipinfo.io

国家特定入口节点

随机代理入口节点

Oxylabs 住宅网络覆盖全球几乎所有国家。针对特定国家的随机代理入口点会在每次新请求时返回新 IP。

您无需传递任何其他参数，只需 客户用户名：密码.如果您已将 IP 列入白名单，则无需传递登录凭证。特定国家/地区的端口不支持城市级结果。

请查看仪表板上的入口点信息，或下载 XLS 格式的随机入口点完整列表 这里.

在本例中，查询 ipinfo.io 是通过随机的土耳其 IP 执行的：

curl -x tr-pr.oxylabs.io:30000 -U "customer-USERNAME:PASSWORD" https://ipinfo.io

pr.oxylabs.io:7777
us-pr.oxylabs.io:10000
ca-pr.oxylabs.io:30000
gb-pr.oxylabs.io:20000
de-pr.oxylabs.io:30000
fr-pr.oxylabs.io:40000
es-pr.oxylabs.io:10000
it-pr.oxylabs.io:20000
se-pr.oxylabs.io:30000
gr-pr.oxylabs.io:40000
pt-pr.oxylabs.io:10000
nl-pr.oxylabs.io:20000
be-pr.oxylabs.io:30000
ru-pr.oxylabs.io:40000
ua-pr.oxylabs.io:10000
pl-pr.oxylabs.io:20000
il-pr.oxylabs.io:20000
tr-pr.oxylabs.io:30000
au-pr.oxylabs.io:40000
my-pr.oxylabs.io:10000
th-pr.oxylabs.io:20000
kr-pr.oxylabs.io:30000
jp-pr.oxylabs.io:40000
ph-pr.oxylabs.io:10000
sg-pr.oxylabs.io:20000
cn-pr.oxylabs.io:30000
hk-pr.oxylabs.io:40000
tw-pr.oxylabs.io:10000
in-pr.oxylabs.io:20000
pk-pr.oxylabs.io:30000
ir-pr.oxylabs.io:40000
id-pr.oxylabs.io:10000
AZ-pr.oxylabs.io:20000
kz-pr.oxylabs.io:30000
ae-pr.oxylabs.io:40000
mx-pr.oxylabs.io:10000
br-pr.oxylabs.io:20000
ar-pr.oxylabs.io:30000
cl-pr.oxylabs.io:40000
pe-pr.oxylabs.io:10000
ec-pr.oxylabs.io:20000
co-pr.oxylabs.io:30000
za-pr.oxylabs.io:40000
eg-pr.oxylabs.io:10000
sa-pr.oxylabs.io:44000
dk-pr.oxylabs.io:19000
ao-pr.oxylabs.io:40000
cm-pr.oxylabs.io:41000
cf-pr.oxylabs.io:42000
td-pr.oxylabs.io:43000
bj-pr.oxylabs.io:44000
et-pr.oxylabs.io:45000
dj-pr.oxylabs.io:46000
gm-pr.oxylabs.io:47000
gh-pr.oxylabs.io:48000
ci-pr.oxylabs.io:49000
ke-pr.oxylabs.io:10000
lr-pr.oxylabs.io:11000
mg-pr.oxylabs.io:12000
ml-pr.oxylabs.io:13000
mr-pr.oxylabs.io:14000
mu-pr.oxylabs.io:15000
ma-pr.oxylabs.io:16000
mz-pr.oxylabs.io:17000
ng-pr.oxylabs.io:18000
sn-pr.oxylabs.io:19000
sc-pr.oxylabs.io:20000
zw-pr.oxylabs.io:21000
ss-pr.oxylabs.io:22000
sd-pr.oxylabs.io:23000
tg-pr.oxylabs.io:24000
tn-pr.oxylabs.io:25000
ug-pr.oxylabs.io:26000
zm-pr.oxylabs.io:27000
af-pr.oxylabs.io:28000
bh-pr.oxylabs.io:29000
bd-pr.oxylabs.io:30000
am-pr.oxylabs.io:31000
bt-pr.oxylabs.io:32000
mm-pr.oxylabs.io:33000
kh-pr.oxylabs.io:34000
ge-pr.oxylabs.io:36000
iq-pr.oxylabs.io:37000
jo-pr.oxylabs.io:38000
lb-pr.oxylabs.io:39000
mv-pr.oxylabs.io:40000
mn-pr.oxylabs.io:41000
om-pr.oxylabs.io:42000
qa-pr.oxylabs.io:43000
sa-pr.oxylabs.io:44000
vn-pr.oxylabs.io:45000
tm-pr.oxylabs.io:46000
uz-pr.oxylabs.io:47000
ye-pr.oxylabs.io:48000
al-pr.oxylabs.io:49000
ad-pr.oxylabs.io:10000
at-pr.oxylabs.io:11000
ba-pr.oxylabs.io:13000
bg-pr.oxylabs.io:14000
by-pr.oxylabs.io:15000
hr-pr.oxylabs.io:16000
cy-pr.oxylabs.io:35000
cz-pr.oxylabs.io:18000
dk-pr.oxylabs.io:19000
ee-pr.oxylabs.io:20000
fi-pr.oxylabs.io:21000
hu-pr.oxylabs.io:23000
is-pr.oxylabs.io:24000
i-pr.oxylabs.io:25000
lv-pr.oxylabs.io:26000
li-pr.oxylabs.io:27000
LT-pr.oxylabs.io:28000
lu-pr.oxylabs.io:29000
mt-pr.oxylabs.io:30000
mc-pr.oxylabs.io:31000
md-pr.oxylabs.io:32000
me-pr.oxylabs.io:33000
no-pr.oxylabs.io:34000
ro-pr.oxylabs.io:35000
rs-pr.oxylabs.io:36000
sk-pr.oxylabs.io:37000
si-pr.oxylabs.io:38000
ch-pr.oxylabs.io:39000
mk-pr.oxylabs.io:40000
bs-pr.oxylabs.io:41000
bz-pr.oxylabs.io:42000
vg-pr.oxylabs.io:43000
cu-pr.oxylabs.io:44000
cu-pr.oxylabs.io:45000
dm-pr.oxylabs.io:46000
ht-pr.oxylabs.io:47000
hn-pr.oxylabs.io:48000
jm-pr.oxylabs.io:49000
aw-pr.oxylabs.io:10000
pa-pr.oxylabs.io:11000
pr-pr.oxylabs.io:12000
tt-pr.oxylabs.io:13000
fj-pr.oxylabs.io:14000
nz-pr.oxylabs.io:15000
bo-pr.oxylabs.io:16000
py-pr.oxylabs.io:17000
uy-pr.oxylabs.io:18000
ve-pr.oxylabs.io:19000
kw-pr.oxylabs.io:20000

粘性代理入口节点

特定国家的粘性代理入口点会在每次新请求时返回相同的 IP，而您将使用相同的端口。IP 粘性最长可持续 10 分钟。之后，IP 会被新的 IP 取代。

您无需传递任何其他参数，只需 客户用户名：密码.如果您已将 IP 列入白名单，则无需传递登录凭证。特定国家/地区的端口不支持城市级结果。

请查看仪表板上的入口点信息，或以 XLS 格式下载完整的粘性入口点列表 这里.

在本例中，查询 ipinfo.io 是通过土耳其 IP 执行的，每次请求都会在同一 IP 上停留长达 10 分钟。我们选择的是 30001 端口，但土耳其的粘性入口点覆盖 30001 至 39999 端口。

curl -x tr-pr.oxylabs.io:30001 -U "customer-USERNAME:PASSWORD" https://ipinfo.io

pr.oxylabs.io:10000 - 49999
us-pr.oxylabs.io:10001 - 19999
ca-pr.oxylabs.io:30001 - 39999
gb-pr.oxylabs.io:20001 - 29999
de-pr.oxylabs.io:30001 - 39999
fr-pr.oxylabs.io:40001 - 49999
es-pr.oxylabs.io:10001 - 19999
it-pr.oxylabs.io:20001 - 29999
se-pr.oxylabs.io:30001 - 39999
gr-pr.oxylabs.io:40001 - 49999
pt-pr.oxylabs.io:10001 - 19999
nl-pr.oxylabs.io:20001 - 29999
be-pr.oxylabs.io:30001 - 39999
ru-pr.oxylabs.io:40001 - 49999
ua-pr.oxylabs.io:10001 - 19999
pl-pr.oxylabs.io:20001 - 29999
il-pr.oxylabs.io:20001 - 29999
tr-pr.oxylabs.io:30001 - 39999
au-pr.oxylabs.io:40001 - 49999
my-pr.oxylabs.io:10001 - 19999
th-pr.oxylabs.io:20001 - 29999
kr-pr.oxylabs.io:30001 - 39999
jp-pr.oxylabs.io:40001 - 49999
ph-pr.oxylabs.io:10001 - 19999
sg-pr.oxylabs.io:20001 - 29999
cn-pr.oxylabs.io:30001 - 39999
hk-pr.oxylabs.io:40001 - 49999
tw-pr.oxylabs.io:10001 - 19999
in-pr.oxylabs.io:20001 - 29999
pk-pr.oxylabs.io:30001 - 39999
ir-pr.oxylabs.io:40001 - 49999
id-pr.oxylabs.io:10001 - 19999
AZ-pr.oxylabs.io:20001 - 29999
kz-pr.oxylabs.io:30001 - 39999
ae-pr.oxylabs.io:40001 - 49999
mx-pr.oxylabs.io:10001 - 19999
br-pr.oxylabs.io:20001 - 29999
ar-pr.oxylabs.io:30001 - 39999
cl-pr.oxylabs.io:40001 - 49999
pe-pr.oxylabs.io:10001 - 19999
ec-pr.oxylabs.io:20001 - 29999
co-pr.oxylabs.io:30001 - 39999
za-pr.oxylabs.io:40001 - 49999
eg-pr.oxylabs.io:10001 - 19999
sa-pr.oxylabs.io:44001 - 44999
dk-pr.oxylabs.io:19001 - 19999

其他信息

国家、州、城市地图

我们使用 MaxMind GeoIP2 数据库来分配我们的出口节点 cc, 站 和 城市 值。该数据库每周更新一次。

其他一些公共 IP 数据库可能会显示不同的位置。在位置不匹配至关重要的情况下，我们建议仔细检查所分配代理的位置是否与目标网站使用的 IP 数据库中的位置相同。

响应代码

这些是您在使用我们的住宅代理池时可能收到的最常见的响应代码。如果您收到任何其他响应代码，请联系您的专属客户经理了解更多信息。

反向连接入口 IP

如果您想使用自己的 backconnect 入口节点 DNS 名称，可以将您的子域/域指向我们的入口节点。为此，您需要添加一个 DNS CNAME 记录了 pr.oxylabs.io 作为目标。以下是这种设置在 Cloudflare DNS 管理器上的显示方式 条目 子域：

如需了解更多信息，请联系 support@oxylabs.io 或您的客户经理。

受限 URL

为避免滥用和不明确的活动，我们的住宅代理网络限制访问某些网站。这些网站包括但不限于所有谷歌域名（包括 Play）、linkedin.com、sonyentertainmentnetwork.com、所有苹果域名（包括 iTunes）、netflix.com 等。如需了解更多信息，请通过以下方式联系我们的支持人员 support@oxylabs.io.

公共应用程序接口

要通过公共 API 管理代理用户，请参考以下文档 OpenAPI 格式.API 允许创建、删除和修改代理用户，设置其限制并查看当前使用情况，禁用和启用代理用户。

第三方集成

请注意，访问时必须使用 HTTPS 协议。 中国入口节点 以便第三方工具正常工作。

Oxylabs 代理管理器

Oxylabs 代理管理器 是 Chrome 浏览器的代理管理扩展。它不仅是免费的，而且可以与您选择的任何代理提供商配合使用。无需通过设置和菜单选项即可启用代理。该扩展还有一个专为 Oxylabs 住宅代理服务器设计的附加功能，无需编辑用户名即可轻松更改 Oxylabs 住宅代理服务器会话。从 Chrome 网上商店下载扩展 这里

• 单击扩展图标打开应用程序
• 如果您还没有添加任何代理，您会看到 添加新代理 按钮。点击后继续。

• 添加代理配置文件。在 输入名称.进入 pr.oxylabs.io 作为 代理服务器 IP 和 7777 作为 港口.填写您的 用户名 和 密码.不要忘记添加 顾客 在您的用户名之前。最后，点击 保存更改.

您还可以使用特定国家的条目。例如，如果您将 us-pr.oxylabs.io 根据 代理服务器 IP 和 10001 根据 港口, 您将收到带有粘性会话的 US 退出节点。

如果您已将自己的 IP 列为白名单，则可以跳过此步骤。

• 打开扩展，点击 连接.就是这样，您现在使用的是代理服务器。

• Chrome 浏览器会缓存代理凭据，在许多代理管理扩展上，通过用户名字符串粘住会话是行不通的。如果使用会话的主入口节点 (pr.oxylabs.io:7777)，我们创建了一个特殊功能，可以更方便地轮换会话。首先，用 sessid 参数，就像这样：

• 然后，打开扩展窗口。连接到代理后，你会看到一个新按钮--"......"。 刷新会议.点击它可更改会话 ID 并获取新的代理。

SwitchyOmega

SwitchyOmega 是一款功能强大、性能可靠的代理管理器，可与多种常用浏览器配合使用。首先，您需要获取插件。对于 Chrome 浏览器，请单击 这里点击 这里.安装完成后，您应该

• 打开 Switchy Omega 选项。

• 点击 新资料....

• 为新的配置文件命名，选择 代理简介 类型，然后点击 创建

• 改变 规程 至 超文本传输协定.根据 服务器 进入我们的后连接入口节点 pr.oxylabs.io.根据 港口 增加 7777

• 您还可以使用特定国家的条目。例如，如果您将 us-pr.oxylabs.io 根据 服务器 和 10001 根据 港口, 您将收到带有粘性会话的 US 退出节点。
• 接下来，点击右侧的锁定按钮。填写您的 用户名 和 密码.不要忘记添加 顾客 在您的用户名之前。最后，点击 保存更改.

如果您已将自己的 IP 列入白名单，请跳过此步骤。

• 点击 应用更改

• 最后一步，点击 SwitchyOmega 图标，选择新配置的代理。现在就可以开始了！

暗影火箭

如果您想在 Shadowrocket 上使用我们的住宅代理，只需按照下面的说明操作即可。

• 打开 Shadowrocket 应用程序。
• 点击 添加服务器.

• 在以下窗口中点击 类型.

• 选择 超文本传输协定 并返回上一屏幕。

• 输入代理和身份验证信息。在 主持人 键入 pr.oxylabs.io. 港口 是 7777 以使用我们的后台连接入口。请不要忘记您的以下证书 用户 和 密码.不要忘记添加 顾客 在您指定的用户名之前。完成后，按 "返回 "箭头返回上一屏幕。

您还可以使用特定国家的条目。例如，如果您将 us-pr.oxylabs.io 根据 主持人 和 10001 根据 港口，您将收到带有粘性会话的 US 退出节点。

• 您需要打开代理。方法是激活 未连接

• 如果这是您第一次使用 Shadowrocket，您会收到 iOS 提示，要求将 Shadowrocket 添加到 VPN 配置中。点击 添加.您需要输入 iPhone 密码进行确认。

• 就是这样。应用程序顶部的切换按钮现在应该已经激活。

• 您可以通过访问 icanhazip.com.

Proxifier

如果您想将我们的住宅代理服务器与 Proxfier 一起使用，只需按照以下说明操作即可。

• 打开 Proxifier 应用程序。
• 添加代理。点击 代理 (1).点击 添加(2).

• 在以下窗口中输入所需信息。 地址(1)即 pr.oxylabs.io, 端口(2) 即 7777选择 HTTPS(3) 协议。在身份验证框中点击 启用(4) 并输入所提供的 用户名(5) 和 密码(6).不要忘记添加 顾客 在用户名开头。如果您已将设备列入白名单，请不要点击 启用，您的身份验证无需用户名/密码。如果您愿意，可以启用 显示为网络浏览器 选项。点击 好的.
• 您还可以使用特定国家的条目。例如，如果您将 us-pr.oxylabs.io 根据 地址(1)* 和 **10001 根据 端口(2), 您将收到带有粘性会话的 US 退出节点。

• 您将看到一个窗口，询问 如果希望 Proxifier 默认使用该代理?这意味着该设置将适用于您的所有浏览器。这取决于您的决定。如果您选择 是即可完成设置。如果您希望在特定浏览器上使用代理，请按照以下步骤操作。
• 点击 规则(1) 然后点击 添加...(2).

• 点击 +(1) 按钮添加要使用代理设置的应用程序。选择要使用这些代理设置的浏览器，然后点击它。最后，您必须更改 行动(2).单击它并选择您创建的代理。

• 这样，您在使用 Proxifier 规则中定义的浏览器时，所有请求都将通过代理完成。

多重登录

我们的代理还可与 Multilogin 应用程序配合使用。设置非常简单，只需按照以下说明操作即可。

• 开放 多重登录 应用程序
• 添加代理。点击 创建新的 浏览器配置文件下。
• 在以下窗口中输入 浏览器配置文件名称 （例如 Oxylabs).然后点击 编辑代理设置.
• 选择 HTTP 代理 作为 连接类型.现在填写所需的详细信息： 下 新地址 和 港口 镶嵌 pr.oxylabs.io 和 7777.根据 登录 输入您的用户名，然后 密码.不要忘记添加 顾客 在用户名开头。如果您已将设备列入白名单，则无需提供登录凭证。
• 您还可以使用特定国家的条目。例如，如果您将 us-pr.oxylabs.io 根据 新地址 和 10001 根据 港口，您将收到带有粘性会话的 US 退出节点。
• 点击 检查代理.如果一切正常，您应该会收到回复，显示 外部 IP.
• 点击 创建个人资料.
• 就这样，你可以走了。

邮政

Postern 是一款非常受欢迎的 Android 代理/VPN 管理应用程序。你可以在 Google Play 商店.以下是如何在 Postern 上配置住宅代理的分步指南：

• 打开应用程序。
• 点击 添加代理.

• 在以下窗口中输入所需的代理信息。 服务器名称 是 Oxylabs, 服务器地址 是 pr.oxylabs.io.根据 服务器端口 走进 7777.点击 服务器类型 并选择 https/http 连接.然后在 用户名 和 密码.为此，您必须键入 顾客 在输入用户名之前，例如 用户名.最后，点击 节省.

您还可以使用特定国家的条目。例如，如果您将 us-pr.oxylabs.io 根据 服务器地址 和 10001 根据 服务器端口您将收到带有粘性会话的美国退出节点。

• 现在，打开应用程序菜单并转到 规则.

• 点击 添加规则

• 根据 匹配方法 遴选 全部匹配.选择 代理/隧道 作为 规则. 代理/代理组 应自动填充 Oxylabs - pr.oxylabs.io:7777″.点击 节省.

• 现在，你需要打开 VPN。打开应用程序菜单，点击 关闭 VPN 来激活连接。这样，您就可以使用代理了。

登录

GoLogin 是一款适用于 Windows、Linux 和 Mac OS 的多登录浏览器管理应用程序。从其官方网站获取 这里.以下是如何在 Windows 版 GoLogin 上配置住宅代理的分步指南：

• 打开应用程序。
• 点击 创建您的第一份个人档案.

• 在下面的窗口中输入所需的代理信息。在 简介名称 写道 Oxylabs.接下来，选择 连接类型 作为 HTTP 代理服务器.根据 代理主机和端口 走进 pr.oxylabs.io 和 7777.然后在 用户名 和 密码.最后，点击 创建简介.

您还可以使用特定国家的条目。例如，如果您将 us-pr.oxylabs.io 和 10001 根据 代理主机和端口，您将收到带有粘性会话的美国退出节点。要充分利用所有可用的住宅代理服务器功能，如 会议 和 国家, 国, 城市 请参阅文档中的相应章节。

• 一切就绪，现在只需点击 运行 并等待浏览器加载。

• • 如果一切正常，网站 http://myip.gologin.app 将打开并显示 IP 信息。

Kameleo

Kameleo 是一款适用于 Windows 和 Android 的多登录浏览器管理应用程序。在其官方网站上获取 这里.以下是如何在 Windows 版 Kameleo 上配置住宅代理的分步指南：

• 打开应用程序。
• 点击 应用程序设置.

• 在以下窗口中输入所需的代理信息 全局代理设置.对于 上游代理类型 选择 Http.接下来，填写 代理 IP 或主机名 与 pr.oxylabs.io.根据 代理端口 走进 7777.最后，在 用户名 和 密码.关闭窗口保存设置。

您还可以使用特定国家的条目。例如，如果您将 us-pr.oxylabs.io 根据 代理 IP 或主机名 和 10001 根据 代理端口您将收到带有粘性会话的美国退出节点。

• 就这样，您就可以开始了。创建一个 新简介 或点击 快速简介 来启动浏览器，现在浏览器已启用代理。

克隆浏览器

ClonBrowser 是另一款适用于 Windows 和 Mac 的多登录浏览器管理应用程序。从其官方网站获取 这里.以下是如何在 Windows 版 ClonBrowser 上配置住宅代理的分步指南：

• 打开应用程序。
• 点击 创建新的浏览器配置文件.

• 点击 设置 邻接 代理设置.

• 在下面的窗口中选择 Http 作为 连接类型.根据 IP 或主机 走进 pr.oxylabs.io.填写 7777 对于 港口.最后，在 用户名 于 用户名 格式和 密码.

您还可以使用特定国家的条目。例如，如果您将 us-pr.oxylabs.io 根据 代理 IP 或主机名 和 10001 根据 代理端口您将收到带有粘性会话的美国退出节点。

您可以点击 连接测试.如果一切正常，点击 创建个人资料.

• 仅此而已，现在您可以点击 开始 根据 选项.

AdsPower

AdsPower 是一款适用于 Windows 和 Mac 的多登录浏览器管理应用程序。你可以在其官方网站上获取 这里.以下是如何在 AdsPower for Windows 上配置住宅代理的分步指南：

• 打开应用程序。
• 点击 上传。.

• 根据 代理类型 选择 http.现在填写下表。输入 pr.oxylabs.io 对于 代理主机 和 7777 对于 代理端口.输入登录凭证 用户名 根据 代理用户 和您的 暗号 对于 密码.

您还可以使用特定国家的条目。例如，如果您将 us-pr.oxylabs.io 根据 代理主机 和 10001 下代理端口, 您将收到带有粘性会话的 US 退出节点。

您可以点击 检查代理.如果一切正常，点击 创建个人资料.

• 就这样，您现在可以通过点击 开放 根据 账户管理.

VML 登录

虚拟多重登录（或 VMLogin）是一种用于创建虚拟浏览器配置文件的工具，可帮助控制浏览器指纹、设置业务工作流和开发网络自动化等。要将 VMLogin 与 Oxylabs 住宅代理一起使用，请下载最新版本的 VMLogin 这里.

• 启动 VMLogin 并创建新的浏览器配置文件。您可以点击 获取随机配置文件 (1) 或选择您的设置。
• 点击 设置代理服务器 (2)

• 创建新的住宅代理用户。

• 点击 设置代理服务器 并选择 HTTP 代理服务器 作为连接类型。在 IP 或主机下输入 pr.oxylabs.io.填写 7777 对于 港口.最后，在 用户名 (客户用户名格式）和 密码.您可以点击 测试代理.如果一切正常，请保存配置文件并启动浏览器。

• 您还可以使用特定国家的条目。例如，如果您将 us-pr.oxylabs.io 根据代理 IP 地址 和 10001 根据代理 港口您将收到一个带有粘性会话的 US 退出节点。

• 至此，您就可以使用 VMLogin 的住宅代理了。

检测不到

首先，您需要获得 "无法检测 "功能。为此，只需前往 undetectable.io注册并下载浏览器。

然后，打开应用程序，点击 "+"创建新的个人资料。

在下面的窗口中，在 新简介输入新的配置文件名称。选择网站识别浏览器的设置（操作系统、浏览器、配置和屏幕）。

此外，您还可以选择主要语言和附加语言，而地理位置将由您的代理决定。

前往 目的 选项卡，并选择 "新代理" 选项。

您可以选择 SOCKS5 或 HTTP（选择 HTTP 代理作为连接类型）。现在填写代理和身份验证详细信息：键入 pr.oxylabs.io 供主机使用 7777 对于 港口.在 登录 和 密码 空格。不要忘记在用户名开头添加 customer-。如果您已将设备列入白名单，则无需提供登录凭证。

您还可以使用特定国家的条目。例如，如果您将 us- pr.oxylabs.io 根据 主持人 和 10001 端口下，您将收到带有粘性会话的 US 退出节点。请查看我们的 国家特定入口节点完整列表.

点击 检查 按钮。如果一切正常，您应该会收到一个显示外部 IP 的回复。按保存代理按钮确认更改。

现在按 节省 按钮，就会看到它出现在左侧菜单中。只需点击即可轻松编辑您的个人资料。

就是这样！您已成功使用 Undetectable.io 设置了代理服务器。

木偶师

在开始使用 Puppeteer 之前，你需要安装一些基本工具：Node.js 和你选择的代码编辑器。然后，创建一个 Node.js 项目并安装所需的软件包。关于如何安装和运行 Puppeteer，您可以在我们的 博文.

一切就绪后，我们就可以进入下一部分--Oxylabs 住宅代理与 Puppeteer 的集成。

• 例如，在 Puppeteer 中填写数值：

pr.oxylabs.io:7777

• 在 "page.authenticate "下的 "username "值中输入您的 Oxylabs 代理子用户用户名和密码。
• 代码示例如下

const puppeteer = require('puppeteer')；
(async () => {
  const browser = await puppeteer.launch({
    headless: false、
    args: ['--代理服务器=pr.oxylabs.io:7777］
});
  const page = await browser.newPage()；
    await page.authenticate({
        username: 'USERNAME'、
        password: 'PASSWORD
    });
    await page.goto('https://ip.oxylabs.io')；
    await page.screenshot({path: 'example.png'})；
    await browser.close()；
})();

您还可以使用特定国家的条目。例如，如果您将 us-pr.oxylabs.io 下的 "主机 "和 10001 端口 "下，您将收到一个带有粘性会话的 US 退出节点。请查看我们的 文献资料 获取特定国家/地区入口节点的完整列表。

就是这样！您已成功将 Oxylabs 住宅代理与 Puppeteer 集成。

参考资料

https://docs.oxylabs.io/residential/index.html

免责声明:这部分内容主要来自商家。如果商家不希望在我的网站上显示，请 联系我们 删除您的内容。

想使用 OxyLabs 的数据中心代理？那就不能错过这篇文章。它是最全面的 OxyLabs 数据中心代理用户指南。

快速入门

在我们开始之前，请确保您已从销售代表、专用客户经理或支持团队处收到用户名、密码和链接到您 IP 列表的所有 URL。

有两种方法可以访问 IP 列表。您可以通过浏览器直接访问 IP 列表，打开您收到的 URL（例如： https://proxy.oxylabs.io/all).然后会要求您输入登录凭证（HTTP Basic Auth）。

或者，您也可以通过对收到的 URL 发出 GET 请求（例如 https://proxy.oxylabs.io/all).不要忘记更换 用户名 和 密码 使用代理用户凭据。

卷曲 -u "用户名:密码" https://proxy.oxylabs.io/all

卷曲 -x 1.2.3.4:60000 -U "用户名:密码" http://ip.oxylabs.io

代理列表

基础

您的专用账户经理或我们的支持人员会向您提供代理列表的 URL，该 URL 应如下所示：

https://proxy.oxylabs.io/key/a27c5343ce4c4637a85a9297ddf1cace

只需在浏览器（或任何其他首选软件）中打开此 URL 即可。然后会要求您输入登录凭证（HTTP Basic Auth）：

完成此操作后，代理列表将以纯文本形式显示。

如果您有多个列表，并希望获得分配给您账户的所有 IP，可以使用此 URL：

https://proxy.oxylabs.io/all

还可以包括 显示国家 或 显示城市 来获取 IP 及其对应位置。

RESTful

显示所有可用的代理列表

通过该端点，您可以检索属于您用户的代理列表：

GET https://api.oxylabs.io/v1/proxies/lists

curl -U username:password "https://api.oxylabs.io/v1/proxies/lists"

输出示例

[
{
"uuid"："123e4567-e89b-12d3-a456-426655440000",
"key"："12345678",
"updated_timestamp"："2016-09-28T13:03:50+0300",
"ips_count"：2000,
"href"："http://api.oxylabs.io/v1/proxies/lists/123e4567-e89b-12d3-a456-426655440000"
}
]

检索特定代理列表

通过该端点，您可以检索特定的代理列表：

GET https://api.oxylabs.io/v1/proxies/lists/{uuid}

请求参数：

curl -u username:password "https://api.oxylabs.io/v1/proxies/lists/{uuid}"

输出示例

[
{
"ip"："127.0.0.1",
端口"60000",
"country"："美国"
},
{
"IP"："127.0.0.2",
"端口"："60000",
"country"："GB
}
]

提出要求

默认情况下，Oxylabs 代理服务器和 Proxy Rotator 使用基本的 HTTP 验证 需要您提供用户名和密码。您可以通过以下方式联系您的专用账户经理或我们的支持团队获取您的证书 support@oxylabs.io.

我们还支持基于白名单 IP 地址的身份验证。请参见 白名单 IP.

根据您的身份验证方法，您可能需要更改代理端口：

目的

如果您想通过用户/通行证验证方法使用数据中心代理：

curl -x 1.2.3.4:60000 -U user1:pass1 http://ip.oxylabs.io

如果要通过白名单 IP 验证方法使用数据中心代理：

curl -x 1.2.3.4:65432 http://ip.oxylabs.io

白名单 IP

仪表板

我们还支持基于 IP 地址的验证。如果您直接使用代理服务器（不使用代理服务器 代理旋转器)，你可以自己将 IP 列入白名单。只需登录 https://stats.oxylabs.io 并在底部侧边栏看到一个名为 "添加白名单 "的部分。点击链接后，您将进入自我白名单页面，如下所示：

在这里，您可以管理白名单 IP，并使用这些 IP 访问代理服务器。您可以将单个 IP 和最多 24 个子网列入白名单。如果您想将更大的子网列入白名单，请通过以下方式联系您的专用账户经理或支持团队 support@oxylabs.io.

如果使用代理 代理旋转器 或 SOCKS 代理服务器您不能自行将 IP 地址列入白名单。相反，您必须向我们提供您希望用于连接代理服务器的 IP 地址列表。我们将把它们列入白名单（添加到防火墙例外规则中）。这样，您就可以在没有登录凭证的情况下访问代理服务器了。

请注意，如果您使用白名单 IP 访问代理，则需要使用端口 65432.代理 代理旋转器端口保持 60000.

RESTful

您也可以直接向我们的端点发送查询，将 IP 列入白名单。请注意，确认白名单 IP 列表的任何更改都需要 5 分钟的冷却时间。

获取白名单 IP 列表

GET https://api.oxylabs.io/v1/whitelisted_ips

curl -U username:password "https://api.oxylabs.io/v1/whitelisted_ips"

输出示例

{
"数据"：[
{
"id"：9765,
"address"："127.0.0.1"
},
{
"id"：9766,
"address"："127.0.0.2"
}
]
}

添加白名单 IP

邮寄 https://api.oxylabs.io/v1/whitelisted_ips

curl -X POST -u username:password "https://api.oxylabs.io/v1/whitelisted_ips"
--header "Content-Type: application/json" --data '{"address"："127.0.0.1"}'

{
"错误"：{
"message"："This is not a valid IP address."、
"code"：422
}
}

输出示例

{
"id"：9767,
"address"："127.0.0.1"
}

删除白名单 IP

DELETE https://api.oxylabs.io/v1/whitelisted_ips/{id}

curl -X DELETE -u username:password "https://api.oxylabs.io/v1/whitelisted_ips/{id}"

保存变化（5 分钟冷却时间）

邮寄 https://api.oxylabs.io/v1/whitelisted_ips/upload_to_servers

curl -X POST -u username:password "https://api.oxylabs.io/v1/whitelisted_ips/upload_to_servers"

数据中心代理 API

替换子网 IP

POST https://api.oxylabs.io/v1/proxy-list/rest/proxy-lists/{PROXY_LIST_UUID}/by-uuid/network-modification-requests/replace

要想在使用代理管理 API 时替换现有代理列表中特定子网的 IP，您需要向上述端点发出 POST 请求，并说明您要替换的特定子网。为使其正常工作，您必须插入一个可从 API 查询到的代理列表 UUID（如所述 这里).

curl -X POST -H "Content-Type: application/json" -d '{"subnets"：["x.x.x.0/24", "y.y.y.0/24"]}' https://api.oxylabs.io/v1/proxy-list/rest/proxy-lists/{PROXY_LIST_UUID}/by-uuid/subnet-replacement-requests -u user:pass

输出示例

{
    "id"："1",
    "状态"："处理中"、
    "消息"：无、
    "类型"："替换"、
    "创建时间"： "2021-01-01T00:00:00+00:00"："2021-01-01T00:00:00+00:00",
    "link_to_list_plain"："https://proxy.oxylabs.io/key/4f34fe5862603138c1bc5ce28b181aef",
    "link_too_list_json"："https://api.oxylabs.io/v1/proxies/lists/8f11274c-a900-11eb-b910-901b0ec4424b"
}

检查更换状态

获取 https://api.oxylabs.io/v1/proxy-list/rest/subnet-replacement-requests/{initiated_replacement_process_id}

要确认子网替换成功，必须向上述端点发出 GET 请求，同时插入 启动更换程序 ID 从之前启动的替换程序中删除。

curl -u user:pass https://api.oxylabs.io/v1/proxy-list/rest/subnet-replacement-requests/{INITIATED_REPLACEMENT_PROCESS_ID}"

输出示例

{
    "created_at"："2021-01-01T00:00:00+00:00",
    "id"："1",
    "link_too_list_json"："https://api.oxylabs.io/v1/proxies/lists/8f11274c-a900-11eb-b910-901b0ec4424b",
    "link_too_list_plain"："https://proxy.oxylabs.io/key/4f34fe5862603138c1bc5ce28b181aef",
    "消息"：无、
    "状态"："已完成"、
    "类型"："替换"
}

列出被替换和新的 IP

GET https://api.oxylabs.io/v1/proxy-list/rest/network-modification-requests/{INITIATED_REPLACEMENT_PROCESS_ID}/ips

当替换请求处理完毕后，可通过向上述端点发出 GET 请求，同时从之前启动的替换进程中插入已启动的替换进程 ID，来查找已删除的 IP。

初始请求将只显示 100 个被替换的 IP，分页元数据将出现在响应中。要获取剩余的被替换 IP 列表，必须使用分页。如需分页，请格式化以下端点：

GET https://api.oxylabs.io/v1/proxy-list/rest/network-modification-requests/{INITIATED_REPLACEMENT_PROCESS_ID}/ips?fields=metadata.total&after={metadata_after}

curl -u user:pass "https://api.oxylabs.io/v1/proxy-list/rest/network-modification-requests/{INITIATED_REPLACEMENT_PROCESS_ID}/ips"

输出示例

{
  "项目"：[
    {
      "id"："1",
      "ip"："127.1.0.1",
      "子网"："127.1.0.0/24",
      "类型"： "冗余"：冗余
    },
    {
      "id"："2",
      "IP"："127.1.1.2",
      "子网"："127.1.1.0/24",
      "类型"："新"
    }
  ],
  "元数据"：{
    "后"："'100'",
    "之前"："'无'"、
    "总数"： 100
  }
}

代理旋转器 - 可选

该服务为可选服务，不包含在订购中。我们为您提供的不是连接到单个 IP 的端点，而是连接到您指定的代理列表的端点。每次请求，端点都会获取一个不同的 IP。要了解如何将端点用作代理，请参阅右侧示例。

备注:代理旋转器只能与端口 60000.

curl --proxy vm.oxylabs.io:60000 http://ip.oxylabs.io

使用代理旋转器进行会话控制

使用代理旋转器可以保持相同的 IP 地址。首先，你需要知道 Proxy Rotator 有多少个代理。然后只需添加 --proxy-header "代理服务器：sXXX" 标头，其中 sXXX 是代理的编号，例如 s5 或 s2541.

user1@machine:~$ curl -x vm.oxylabs.io:60000 -U user:pass http://ip.oxylabs.io --proxy-header "Proxy-Server: s10"
1.2.30.40
user1@machine:~$ curl -x vm.oxylabs.io:60000 -U user:pass http://ip.oxylabs.io --proxy-header "Proxy-Server: s10"
1.2.30.40
user1@machine:~$ curl -x vm.oxylabs.io:60000 -U user:pass http://ip.oxylabs.io --proxy-header "Proxy-Server: s10"
1.2.30.40

响应代码

这些是使用我们的数据中心代理时最常见的响应代码。如果您收到任何其他响应代码，请联系您的专用账户经理了解更多信息。

第三方集成

Oxylabs 代理管理器

Oxylabs 代理管理器 是 Chrome 浏览器的代理管理扩展。它不仅是免费的，而且可以与您选择的任何代理提供商配合使用。启用代理无需通过设置和菜单选项。从 Chrome 网上商城下载该扩展 这里

• 单击扩展图标打开应用程序
• 如果您还没有添加任何代理，您会看到 添加新代理 按钮。点击后继续。

• 添加代理配置文件。在 输入名称.输入您从我们这里购买的代理作为 代理服务器 IP 和 60000 作为 港口 如果使用的是用户名：密码身份验证方法，以及 65432 如果您使用的是白名单 IP。

填写您的 用户名 和 密码.最后，点击 保存更改.如果您已将自己的 IP 列为白名单，则根本不需要执行此步骤。

• 打开扩展，点击 连接.就这样，您就可以使用数据中心代理了。

SwitchyOmega

SwitchyOmega 是一款功能强大、性能可靠的代理管理器，可与多种流行浏览器配合使用。根据我们的经验，它是最好的代理插件之一。我们强烈推荐您使用 SwitchyOmega 代理。为此，您需要获取该插件。对于 Chrome 浏览器，请单击 这里点击 这里.安装完成后，您应该

• 打开 Switchy Omega 选项。

• 点击 新资料...

• 为新配置文件命名，选择 代理简介 类型，然后点击 创建

• 改变 规程 至 超文本传输协定.根据 服务器 输入您从我们这里购买的代理之一。在 港口 增加 60000 如果使用的是用户名：密码身份验证方法，以及 65432 如果您使用的是白名单 IP。

• 接下来，点击右侧的锁定按钮。填写您的 用户名 和 密码.点击 保存更改.

如果您已将自己的 IP 列为白名单，则根本不需要执行此步骤。

• 点击 应用更改

• 最后一步，点击 SwitchyOmega 图标，选择新配置的代理。现在就可以开始了！

FoxyProxy

FoxyProxy 是一款简单的代理管理器，可与许多常用浏览器配合使用。首先，您需要获取 FoxyProxy。对于 Chrome 浏览器，请单击 这里点击 这里.安装完成后，您应该

• 打开 FoxyProxy 选项。
• 点击 添加.
• 在 IP 地址、DNS 名称、服务器名称 字段输入其中一个代理。
• 在 港口 字段输入端口。如果使用用户/通行证身份验证，端口为 60000.如果您的 IP 已列入白名单，则端口为 65432.
• 在 用户名（可选） 字段中输入您的用户名。如果您已将自己的 IP 列为白名单，请将该字段留空，因为插件会通过它进行授权，并忽略您在该字段中写入的所有内容。
• 在 密码（可选） 字段中输入您的密码。如果您已将自己的 IP 列入白名单，并希望通过它进行授权，请将此字段留空。
• 填写完所有字段后，按 节省.
• 为了让所有请求都能通过此设置运行，您必须按下 FoxyProxy 插件图标 (1)，然后点击 使用代理 对所有 URL 使用代理（忽略模式） (2).

(1)

(2)

• 就这样，你完成了！

Proxifier

要在 Proxfier 中使用数据中心代理，只需按照以下步骤操作即可：

• 打开 Proxifier 应用程序。
• 添加代理。点击 代理 (1).点击 添加(2).

• 在以下窗口中输入所需信息。 IP 地址(1), 端口(2) 其中的用户名/密码验证是 60000 以及用于白名单 IP 验证的 65432 选择 HTTPS(3) 协议。在验证框中单击 启用(4) 并输入所提供的 用户名(5) 和 密码(6).

不要忘记添加 顾客 在用户名开头。如果您已将设备列入白名单，请不要点击 启用，您的身份验证无需用户名/密码。如果您愿意，可以启用 显示为网络浏览器 选项。点击 好的.

• 您将被要求 您是否希望 Proxifier 默认使用该代理？?这意味着您的所有浏览器都将使用此设置。您可以自行决定是否要这样做。如果选择 是即可完成设置。如果只想在特定浏览器上使用代理，请按照以下步骤操作。
• 点击 规则(1) 然后点击 添加...(2).

• 点击 +(1) 按钮添加要使用代理设置的应用程序。选择要使用代理设置的浏览器并点击。最后，您必须更改 行动(2).单击它并选择您创建的代理。

• 就是这样。现在，您的所有请求（使用浏览器时）都将通过代理进行。

参考资料

https://docs.oxylabs.io/dc/index.html

免责声明:这部分内容主要来自商家。如果商家不希望在我的网站上显示，请 联系我们 删除您的内容。

您听说过 Oxylabs 的新一代住宅代理吗？本文将向您详细介绍如何使用它。

快速入门

新一代住宅代理专为重型数据检索操作而设计。它们可以毫不费力地提取网络数据，不会出现任何延迟或错误。该产品与普通代理一样可定制，但同时能保证更高的成功率。除了可重复使用的 cookies 和 POST 请求外，还支持自定义标题和 IP 粘性。

如果您曾经使用过普通代理进行数据搜刮，那么集成下一代住宅代理将轻而易举。唯一不同的是，我们要求用户接受我们的证书，或完全忽略它。 -k 或 --不安全 cURL 标志（或您选择的语言中的等效表达式）。

要使用新一代住宅代理进行请求，我们需要使用 ngrp.oxylabs.io:60000 端点。下面是一个 cURL 示例。您还可以找到其他语言的代码示例 这里 或我们的 GitHub.

curl -k -x ngrp.oxylabs.io:60000 -U "USERNAME:PASSWORD" http://ip.oxylabs.io

如果您有任何本文件未涉及的问题，请联系您的客户经理或我们的支持人员，地址是 support@oxylabs.io.

提出要求

GET ngrp.oxylabs.io:60000

最简单的方法是向我们发送一个不带任何自定义选项的简单查询。我们将在我们的终端添加所有标准标头，选择最快的代理并向您发送响应正文。

要使用下一代住宅代理所需的功能，如设置代理地理位置或通过会话控制重复使用同一 IP，我们需要在请求中发送额外的标头。

以下是受支持的功能和标头的完整列表：

查询参数

curl -k -v -x ngrp.oxylabs.io:60000 -U user:pass1 "https://ip.oxylabs.io"

会议

如果您想使用同一个代理发出多个请求，可以通过添加 X-Oxylabs-Session-Id 头，其中包含一个随机生成的会话 ID 字符串。我们将为该 ID 分配一个代理，并最多保留 10 分钟。之后，我们将为该特定会话 ID 分配一个新的代理。

curl -k -v -x ngrp.oxylabs.io:60000 -U user:pass1 "https://ip.oxylabs.io" -H "X-Oxylabs-Session-Id：123randomString"

地理位置

如果从不受支持的地理位置访问，某些网站将不提供内容。您可以在请求中指定要从哪个国家访问目标网站。只需添加 X-Oxylabs-地理位置 标头，其值设置为国家名称（例如）、 德国 德国或 美国 美国。

新一代住宅代理还支持城市级目标定位。如果要添加城市，只需在国家前添加城市名称即可，例如：： 德国慕尼黑.

支持的地理位置参数值的完整列表如下所示 这里.

curl -k -v -x ngrp.oxylabs.io:60000 -U user:pass1 "https://ip.oxylabs.io" -H "X-Oxylabs-Geo-Location：慕尼黑,德国"

页眉

如果您比我们更了解某个特定目标，您可以在请求中添加自己的标头。它既可以是标准标头，如 用户代理 或 接受语言以及完全定制和针对特定目标的内容。

curl -k -v -x ngrp.oxylabs.io:60000 -U user:pass1 "https://ip.oxylabs.io" -H "Your-Custom-Header: interesting header content" -H "User-Agent：Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/73.0.3683.86 Chrome/73.0.3683.86 Safari/537.36" -H "Accept-Language: en-US" -H "接受语言：en-US" -K

曲奇

系统还允许为目标网站设置自定义 cookie。通过您的首次请求，我们将返回所有响应标头和 cookie。您可以在自己的终端修改它们，并在下一次请求时将它们发送回我们的系统。如果您使用相同的 IP 地址连续进行几次请求，重复使用 cookie 可能是个好主意（参见 会议 更多)

curl -k -v -x ngrp.oxylabs.io:60000 -U user:pass1 "https://ip.oxylabs.io" -H "Cookie：NID=1234567890; 1P_JAR=0987654321"

自定义状态代码

默认情况下，只要返回 2xx 或 4xx 状态代码，我们就认为请求成功。不过，有时网站会在返回所需内容的同时返回非标准 HTTPS 状态代码。如果您的某个目标出现这种情况，您可以指出哪些状态代码是可接受的，并且对您有实际价值。只需添加 X-Oxylabs-Status-Code 头，其中包含所有对您有效的 HTTP 响应代码。请注意，2xx 和 4xx 仍会被自动标记为成功。

curl -k -v -x ngrp.oxylabs.io:60000 -U user:pass1 "https://ip.oxylabs.io" -H "X-Oxylabs-Status-Code：500,501,502,503" 

POST 请求

下一代住宅代理服务器不仅支持发送 获取 请求，还可以让您 职位 到你选择的网络端点。这意味着您可以向目标网站发送数据，然后让网站返回不同的结果。

curl -X POST -k -v -x ngrp.oxylabs.io:60000 -U user:pass1 "https://ip.oxylabs.io" -d "@/path/to/file.json"

JavaScript 渲染

启用 JavaScript 渲染。在目标需要 JavaScript 加载内容时使用。该参数有两个可用值： 网页 (获取原始输出）和 png (获取 Base64 编码的截图）。

curl -k -v -x ngrp.oxylabs.io:60000 -U user:pass1 "https://ip.oxylabs.io" -H "X-Oxylabs-Render: html"

自适应解析

自适应解析能够解析任何电子商务产品页面中最重要的字段。要启用电子商务产品页面的自适应解析功能，需要发送两个附加标头： X-Oxylabs-Parser-Type: ecommerce_product 来选择解析器类型，而 X-Oxylabs-Parse: 1 来解析检索到的页面。

可由下一代住宅代理自适应解析电子商务产品页面的字段：

• 标题
• 正常价格
• 报价
• 货币
• 产品说明
• 产品 ID
• 图片 URL
• 网页中的 URL

curl -v -k -x ngrp.oxylabs.io:60000 -U user:pass1 "https://ip.oxylabs.io" -H "X-Oxylabs-Parser-Type: ecommerce_product" -H "X-Oxylabs-Parse: 1"

输出示例

{
    "结果"：[
        {
            "内容"：{
                "url"："https://ip.oxylabs.io/product/product_example.html"、
                "body"：{
                    "price"：11.99,
                    "标题"："产品标题示例"、
                    "货币"："$"、
                    "old_price"：15.99,
                    "description": null、
                    "image_links"：[
                        "https://ip.oxylabs.io/img/product_example.png"
                    ],
                    "ids_from_url"：[],
                    "simple_links"：[
                        {
                            "链接"："https://ip.oxylabs.io/product/another_example.html"、
                            "description"："另一个产品示例"
                        }
                    ],
                    "ids_from_html"：[
                        {
                            "产品编号"："14158288"
                        }
                    ],
                    "price_range_lower": null、
                    "price_range_upper": null
                },
                "元"：{
                    "标题"："产品元标题示例"、
                    "关键字"：[],
                    "description"："产品描述示例"
                },
                "parse_status_code"：12000
            },
            "创建时间"："2020-01-01 10:00:00",
            "更新时间"："2020-01-01 10:00:07",
            "id"：29964797,
            "页"：1,
            "url"："https://ip.oxylabs.io/product/product_example.html"、
            "job_id"："6699272813062145025",
            "status_code"：200
        }
    ]
}

使用统计

您可以访问我们的 仪表板 或通过查询以下端点：

GET https://data.oxylabs.io/v1/stats

默认情况下，API 将返回所有时间的使用统计数据。添加 group_by=month 将返回月度统计数据，而 group_by=day 将返回每日数据。流量以字节为单位显示。

该查询将返回所有时间的统计数据。您可以通过添加以下任一选项来查询您每天和每月的使用量 group_by=day 或 group_by=month.流量以字节为单位显示。

curl --user user:pass1 'https://data.oxylabs.io/v1/stats'

输出示例

{
    "元"：{
        "group_by": null、
        "date_from": null、
        "date_to": null、
        "source": null
    },
    "数据"：{
        "来源"：[
            {
                "results_count_all"："1482",
                "results_count"："0",
                "realtime_results_count"："0",
                "super_api_results_count"："12777",
                "渲染"："0",
                "geo_location"："0",
                "平均响应时间2.18,
                "request_traffic"："6629",
                "响应流量"："17850",
                "标题"："通用"
            }
        ]
    }
}

答复样本

这就是响应的样子。要查看报头和 cookie，必须启用 "详细 "模式。

http/1.1 200 ok
X-Job-Id：1234567890123456
X-Session-Id：123randomString
cf-cache-status：动态
cf-ray：55c2ab837eddcba8-VIE
content-encoding: gzip
content-length: 72657
content-type: text/html
date: Tue, 1 Jan 2020 00:00:01 GMT,expect-ct: max-age=604800,report-uri="https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ct"
last-modified：Tue, 1 Dec 2020 00:00:00 GMT
服务器: cloudflare
status: 200
strict-transport-security: max-age=31536000
X-DNS-Prefetch-Control: off
Set-Cookie：NID=1234567890; expires=Wed, 29-Jul-2020 10:56:21 GMT
Set-Cookie：1P_JAR=0987654321; expires=Wed, 29-Jul-2020 10:56:21 GMT
x-cache：MISS from localhost
x-cache-lookup：MISS from localhost:3129content here

参考资料

https://docs.oxylabs.io/next-gen-residential-proxies/index.html#quick-start

免责声明 这部分内容主要来自商家。如果商家不希望在我的网站上显示，请 联系我们 删除您的内容。

你知道如何使用 OxyLabs Real-time Crawler for Google 吗？这是 OxyLabs 官方最全面的介绍。

快速入门

Real-Time Crawler 专为重型数据检索操作而设计。您可以使用 Real-Time Crawler 访问各种谷歌页面，包括常规搜索、酒店空房情况和谷歌购物。它可以毫不费力地从搜索引擎中提取网页数据，不会出现任何延迟或错误。

用于谷歌的实时抓取器 基本 HTTP 身份验证 需要发送用户名和密码。

这是迄今为止开始使用 Google 实时爬虫的最快方法。您将发送一个查询 阿迪达斯 至 谷歌搜索 使用 实时 整合方法。不要忘记替换 用户名 和 密码 使用代理用户凭据。

curl --user "USERNAME:PASSWORD" 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json" -d '{"source"："google_search", "domain"："com", "query"："adidas"}'

如果您有任何本文件未涉及的问题，请联系您的客户经理或我们的支持人员，地址是 support@oxylabs.io.

邮递员

下载和导入 邮差系列 来试用本页面记录的所有 Google 爬虫功能和数据传输方法。

整合方法

Real-Time Crawler for Google 支持三种集成方法，它们都有各自独特的优势：

• 推拉式.使用这种方法，现在需要与我们的端点保持活动连接，以检索数据。在发出请求后，我们的系统会在任务完成后自动 ping 用户服务器（请参阅 回调).这种方法可以节省计算资源，而且易于扩展。
• 实时.该方法要求用户与我们的端点保持活动连接，以便在任务完成时成功获取结果。这种方法可以在一个服务中实现，而推拉法则需要两个步骤。
• 超级用户接口.这种方法与实时方法非常相似，但用户可以使用 HTML Cralwer 作为代理，而不是向我们的端点发布数据。要检索数据，用户必须设置一个代理端点，并向所需的 URL 发送 GET 请求。必须使用标头添加其他参数。

我们推荐的数据提取方法是 推拉式.

推拉式

这是最简单、最可靠、最值得推荐的数据传输方法。在推拉式方案中，您向我们发送查询，我们向您返回工作 本我工作完成后，您可以使用 本我 中检索内容 /结果 端点。您可以自己检查作业完成状态，也可以设置一个能接受 POST 查询的简单监听器。这样，一旦作业准备就绪，我们就会给你发送一条回调消息。在本例中，结果将自动 上传到您的 S3 存储桶 名为 您的邮筒名称.

您还可以尝试通过 Postman 了解推拉法的工作原理。下载 此文件 开始。

单一查询

以下端点将处理对一个关键字或 URL 的单次查询。API 将返回一条确认信息，其中包含任务信息，包括任务 本我.您可以使用它来检查任务完成状态 本我或者，您也可以要求我们在扫描任务完成后 ping 您的回调端点，方法是添加 回调URL 在查询中。

邮寄 https://data.oxylabs.io/v1/queries

您需要在 JSON 主体中将查询参数作为数据发布。

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_search", "domain"："com", "query"："adidas", "callback_url"："https://your.callback.url"，"storage_type"："s3"，"storage_url"："your_bucket_name"}'

API 将以 JSON 格式响应查询信息，并将其打印在响应体中，与此类似：

{
  "callback_url"："https://your.callback.url"、
  "client_id"：5,
  "context"：[
    {
      "key"："results_language"、
      "value": null
    },
    {
      "key"："safe_search"、
      "value": null
    },
    {
      "key"："tbm"、
      "value": null
    },
    {
      "key"："cr"、
      值"：空
    },
    {
      "key"："filter"、
      "value": null
    }
  ],
  "created_at"："2019-10-01 00:00:01",
  "域"："com"、
  "geo_location": null、
  "id"："12345678900987654321",
  "限制"：10,
  "locale": null、
  "pages"：1,
  "parse": false、
  "render": null、
  "查询"："adidas"、
  "来源"："google_search"、
  "start_page"：1,
  "状态"："pending"、
  "存储类型"s3",
  "storage_url"："YOUR_BUCKET_NAME/12345678900987654321.json",
  "subdomain"："www"、
  "updated_at"："2019-10-01 00:00:01",
  "user_agent_type"："desktop"、
  "_链接"：[
    {
      "rel"："self"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321",
      "method"："GET"
    },
    {
      "rel"："results"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321/results",
      "method"："GET"
    }
  ]
}

检查工作状态

如果您的查询有 回调URL一旦完成刮擦任务，我们将向您发送一条包含内容链接的信息。但是，如果没有 回调URL 在查询中，您需要自己检查任务状态。为此，您需要使用 href 根据 rel:自我 在您向我们的 API 提交查询后收到的响应信息中。它应该与下面的内容相似： http://data.oxylabs.io/v1/queries/12345678900987654321.

GET https://data.oxylabs.io/v1/queries/{id}

查询该链接将返回工作信息，包括其 地位.有 3 种可能 地位 价值观

curl --user user:pass1 'http://data.oxylabs.io/v1/queries/12345678900987654321'

API 将在响应正文中打印 JSON 格式的查询信息。请注意，任务 地位 改为 完成的.现在您可以通过查询 http://data.oxylabs.io/v1/queries/12345678900987654321/results.

您还可以看到任务已被 updated_at 2019-10-01 00:00:15 - 查询需要 14 秒才能完成。

{
  "client_id"：5,
  "context"：[
    {
      "key"："results_language"、
      "value": null
    },
    {
      "key"："safe_search"、
      "value": null
    },
    {
      "key"："tbm"、
      "value": null
    },
    {
      "key"："cr"、
      值"：空
    },
    {
      "key"："filter"、
      "value": null
    }
  ],
  "created_at"："2019-10-01 00:00:01",
  "域"："com"、
  "geo_location": null、
  "id"："12345678900987654321",
  "限制"：10,
  "locale": null、
  "pages"：1,
  "parse": false、
  "render": null、
  "查询"："adidas"、
  "来源"："google_search"、
  "start_page"：1,
  "状态"："done"、
  "子域"："www"、
  "updated_at"："2019-10-01 00:00:15",
  "user_agent_type"："desktop"、
  "_链接"：[
    {
      "rel"："self"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321",
      "method"："GET"
    },
    {
      "rel"："results"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321/results",
      "method"："GET"
    }
  ]
}

检索工作内容

通过检查作业状态或接收我们的回调，一旦知道作业已准备就绪，您就可以使用以下 URL 获取作业 href 根据 rel:成果 在我们的初始响应或回调信息中。看起来应该类似于下面这样： http://data.oxylabs.io/v1/queries/12345678900987654321/results.

GET https://data.oxylabs.io/v1/queries/{id}/results

通过设置 "任务状态"，可以自动检索结果，而无需定期检查任务状态。 回调 服务。用户需要指定运行回调服务的服务器的 IP 或域。当我们的系统完成一项任务时，它将向所提供的 IP 或域发送一条信息，回调服务将下载结果，如 回调实现示例.

curl --user user:pass1 'http://data.oxylabs.io/v1/queries/12345678900987654321/results'

API 将返回工作内容：

{
  "结果"：[
    {
      "content"："<!
        内容
      ",
      "created_at"："2019-10-01 00:00:01",
      "更新时间"："2019-10-01 00:00:15",
      "页"：1,
      "url"："https://www.google.com/search?q=adidas&hl=en&gl=US"、
      "job_id"："12345678900987654321",
      "status_code"：200
    }
  ]
}

回调

回调是一个 职位 我们会向您的机器发送请求，告知数据提取任务已完成，并提供下载刮擦内容的 URL。这意味着您不再需要 检查工作状态 手动操作。一旦数据到齐，我们会通知您，您现在需要做的就是 取回.

# 请查看 Python 和 PHP 代码示例。

回调输出示例

{
   "created_at":"2019-10-01 00:00:01",
   "updated_at":"2019-10-01 00:00:15",
   "locale":null、
   "client_id":163、
   "user_agent_type": "desktop"、
   "源": "google_search"、
   "页面":1、
   "子域": "www"、
   "status": "done"、
   "start_page":1、
   "parse":0、
   "render":null、
   "priority":0、
   "ttl":0、
   "origin": "api"、
   "persist":true、
   "id":"12345678900987654321",
   "callback_url": "http://your.callback.url/"、
   "query": "adidas"、
   "domain": "com"、
   "limit":10、
   "geo_location":null、
   {...}
   "_links":[
      {
         "href":"https://data.oxylabs.io/v1/queries/12345678900987654321",
         "method": "GET"、
         "rel": "self"
      },
      {
         "href":"https://data.oxylabs.io/v1/queries/12345678900987654321/results",
         "method": "GET"、
         "rel": "results" }
      }
   ],
}

批量查询

实时爬虫还支持执行多个关键字，每批最多可执行 1,000 个关键字。以下端点将向提取队列提交多个关键词。

邮寄 https://data.oxylabs.io/v1/queries/batch

您需要在 JSON 主体中将查询参数作为数据发布。

系统会将每个关键词作为一个单独请求处理。如果您提供了回调 URL，您将为每个关键字收到单独的调用。否则，我们的初始响应将包含工作 本我的所有关键字。例如，如果您发送了 50 个关键字，我们将返回 50 个唯一的职位。 本我s.

重要！ 询问 是唯一一个可以有多个值的参数。所有其他参数对于该批次查询都是一样的。

curl --user user:pass1 'https://data.oxylabs.io/v1/queries/batch' -H 'Content-Type: application/json' -d '@keywords.json
 -d'@keywords.json'（关键词

keywords.json 内容：

{
   "query":[
      "阿迪达斯"、
      "耐克"、
      "蕾博克"
   ],
   "来源"："google_search"、
   "域"："com"、
   "callback_url"："https://your.callback.url"
}

API 将以 JSON 格式响应查询信息，并将其打印在响应体中，与此类似：

{
  "查询"：[
    {
      "callback_url"："https://your.callback.url"、
      {...}
      "created_at"："2019-10-01 00:00:01",
      "域"："com"、
      "id"："12345678900987654321",
      {...}
      "查询"："阿迪达斯"、
      "来源"："google_search"、
      {...}
          "rel"："results"、
          "href"："http://data.oxylabs.io/v1/queries/12345678900987654321/results",
          "method"："GET"
        }
      ]
    },
    {
      "callback_url"："https://your.callback.url"、
      {...}
      "created_at"："2019-10-01 00:00:01",
      "域"："com"、
      "id"："12345678901234567890",
      {...}
      "查询"："NIKE"、
      "来源"："google_search"、
      {...}
          "rel"："results"、
          "href"："http://data.oxylabs.io/v1/queries/12345678901234567890/results",
          "method"："GET"
        }
      ]
    },
    {
      "callback_url"："https://your.callback.url"、
      {...}
      "created_at"："2019-10-01 00:00:01",
      "域"："com"、
      "id"："01234567899876543210",
      {...}
      "查询"："reebok"、
      "来源"："google_search"、
      {...}
          "rel"："results"、
          "href"："http://data.oxylabs.io/v1/queries/01234567899876543210/results",
          "method"："GET"
        }
      ]
    }
  ]
}

获取通知程序 IP 地址列表

您可能希望将向您发送回调信息的 IP 列入白名单，或为其他目的获取这些 IP 的列表。这可以通过 获取在这个端点上： https://data.oxylabs.io/v1/info/callbacker_ips.

curl --user user:pass1 'https://data.oxylabs.io/v1/info/callbacker_ips'

API 将返回向您的系统发出回调请求的 IP 列表：

{
    "ips"：[
        "x.x.x.x"、
        "y.y.y.y"
    ]
}

上传到存储器

默认情况下，RTC 任务结果存储在我们的数据库中。这意味着您需要查询我们的结果端点并自行检索内容。自定义存储功能允许您将结果存储在自己的云存储中。该功能的优势在于，您无需为了获取结果而发出额外请求，所有内容都会直接存储到您的存储桶中。

我们支持亚马逊 S3 和谷歌云存储。如果您想使用其他类型的存储，请联系您的客户经理，讨论功能交付时间表。

亚马逊 S3

要将作业结果上传到 Amazon S3 存储桶，请为我们的服务设置访问权限。为此，请访问 https://s3.console.aws.amazon.com/ > S3 > 存储 > 桶名称（如果没有，请新建） > 权限 > 桶策略

您可以在此找到水桶政策 JSON 或右侧的代码示例区。不要忘记在 您的邮筒名称.通过该策略，我们可以向您的邮筒写入内容，允许您访问上传的文件，并了解邮筒的位置。

谷歌云存储

要将作业结果上传到您的 Google Cloud Storage 存储桶，请为我们的服务设置特殊权限。为此，请使用 存储.对象.创建 权限并将其分配给 Oxylabs 服务帐户电子邮件 oxyserps-storage@oxyserps-storage.iam.gserviceaccount.com.

使用方法

要使用此功能，请在请求中指定两个附加参数。了解更多信息 这里.

上传路径如下 YOUR_BUCKET_NAME/job_ID.json.您可以在提交请求后从我们收到的回复正文中找到职位 ID。在 本例 工作编号为 12345678900987654321.

{
    "版本"："2012-10-17",
    "Id"："Policy1577442634787",
    "声明"：[
        {
            "Sid"："Stmt1577442633719"、
            "效果"："允许"、
            "校长"：{
                "AWS"："arn:aws:iam::324311890426:user/oxylabs.s3.uploader"
            },
            "Action"："s3:GetBucketLocation"、
            "资源"："arn:aws:s3:::YOUR_BUCKET_NAME" }.
        },
        {
            "Sid"："Stmt1577442633719"、
            "效果"："允许"、
            "校长"：{
                "AWS"："arn:aws:iam::324311890426:user/oxylabs.s3.uploader"
            },
            "Action"：[
                "s3:PutObject"、
                "s3:PutObjectAcl"。
            ],
            "资源"："arn:aws:s3:::YOUR_BUCKET_NAME/*"。
        }
    ]
}

实时

数据提交方式与推拉方式相同，但在实时情况下，我们将在连接打开时返回内容。您向我们发送查询，连接保持打开，我们检索内容并发送给您。处理的端点如下：

邮寄 https://realtime.oxylabs.io/v1/queries

开放连接的超时限制为 150 秒，因此在极少数负载较重的情况下，我们可能无法确保将数据发送给您。

您需要在 JSON 主体中将查询参数作为数据发布。详情请参阅示例。

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_search", "domain"："com", "query"："adidas"}'

打开连接时将返回的响应体示例：

{
  "结果"：[
    {
      "content"："
      内容
      "
      "created_at"："2019-10-01 00:00:01",
      "更新时间"："2019-10-01 00:00:15",
      "id": null、
      "page"：1,
      "url"："https://www.google.com/search?q=adidas&hl=en&gl=US"、
      "job_id"："12345678900987654321",
      "status_code"：200
    }
  ]
}

超级用户接口

如果您曾经使用过普通代理进行数据搜刮，那么集成 SuperAPI 传输方法将轻而易举。只需将我们的入口节点用作代理，使用实时爬虫凭据进行授权，并忽略证书即可。在 cURL 这是 -k 或 --不安全.您的数据将通过开放连接发送给您。

GET realtime.oxylabs.io:60000

超级用户接口只支持少量参数，因为它 仅适用于 直接 数据源 其中提供了完整的 URL。这些参数应作为标头发送。这是可接受的参数列表：

如果您在设置超级用户接口时需要帮助，请致电 support@oxylabs.io.

curl -k -x realtime.oxylabs.io:60000 -U user:pass1 -H "X-OxySERPs-User-Agent-Type: desktop_chrome" -H "X-OxySERPs-Geo-Location：New York,New York,United States" "https://www.google.com/search?q=adidas"

内容类型

实时爬虫可以返回 原始HTML或 结构化（解析）的 JSON.请注意，并非所有数据源都能以结构化方式返回。本文档中每个数据源下的图标将表明我们是否能解析它，或者我们只能返回原始的 HTML。

请参见 解析数据 来查看每个数据源会返回哪些字段。

数据来源

使用实时爬虫从 Google 检索数据有多种方法。您可以通过以下方式向我们提供完整的 URL 直接或通过专门构建的数据源指定参数，例如 搜索, 购物产品 或 图片.

从技术上讲，这不是一种内容类型，但实时抓取器可以在抓取时呈现 JavaScript。这在某些 Google 页面（如航班和专利）中是必要的。在 渲染 JS 将指示特定数据源是否可以在启用 JavaScript 的情况下进行刮擦。

如果您不确定选择哪种方式，请给我们留言 support@oxylabs.io 或联系您的客户经理。

直接

谷歌 源设计用于检索各种 Google 页面的直接 URL 内容。这意味着，您可以向我们提供所需谷歌页面的直接 URL，而无需发送多个参数。我们不会删除任何参数或以任何其他方式更改您的 URL。

只要提交的 URL 是 Google 搜索（SERP 页面），该数据源还支持解析数据（解析 JSON）。如果我们无法确认这是一个 SERP 页面请求，则会返回一条失败消息。

查询参数

在本例中，应用程序接口将检索谷歌学术搜索的关键字 牛顿 推拉法

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source": "google", "url": "https://scholar.google.com/scholar?hl=en&q=newton&btnG=&as_sdt=1%2C5&as_sdtp="}'

以下是实时模式下的相同示例：

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source": "google", "url": "https://scholar.google.com/scholar?hl=en&q=newton&btnG=&as_sdt=1%2C5&as_sdtp="}'

并通过超级用户接口（SuperAPI）：

curl -k -x realtime.oxylabs.io:60000 -U user:pass1 "https://scholar.google.com/scholar?hl=en&q=newton&btnG=&as_sdt=1%2C5&as_sdtp="

搜索

谷歌搜索 源旨在检索谷歌搜索结果（SERP）。

查询参数

API 向 google.nl 检索关键字从第 11 到第 20 的搜索结果页面 阿迪达斯.结果将以法语显示，因为 results_language 参数也通过 背景.API 将向 your.callback.url 包含 URL，以便在数据检索任务成功完成后下载原始 HTML 输出。这就是推拉式：

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_search", "domain"："nl", "query"："adidas", "start_page"：11, "pages"：10, "callback_url"："https://your.callback.url"，"context"：{"key"："results_language"，"value"："fr"}]}'

以下是实时模式下的相同示例：

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_search", "domain"："nl", "query"："adidas", "start_page"：11, "pages"：10, "callback_url"："https://your.callback.url"，"context"：{"key"："results_language"，"value"："fr"}]}'

广告

谷歌广告 源进行了优化，以检索带有付费广告的 Google 搜索结果页面（SERP）。该源每页只返回 10 个结果，确保付费结果显示的最高变化。除此以外，它还支持与常规来源相同的参数 搜索

查询参数

API 向 google.nl 检索关键字 阿迪达斯.API 将向 your.callback.url 包含 URL，以便在数据检索任务成功完成后下载原始 HTML 输出。这就是推拉式：

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_ads", "domain"："nl", "query"："adidas", "callback_url"："https://your.callback.url"}'

以下是实时模式下的相同示例：

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_ads", "domain"："nl", "query"："adidas"}'

酒店

谷歌酒店 数据源旨在检索 Google 酒店搜索结果。

查询参数

请注意，使用 Google hotels 时，您始终需要发送一个包含 "hotels "的关键词，例如 "洛杉矶的酒店"、"法国巴黎的酒店 "等。酒店 "和 "hotels "均可。Google 还支持当地语言，因此您可以发送 "Hotelli Helsingissä "查询赫尔辛基的酒店，或发送 "viešbučiai Vilnius "查询维尔纽斯的酒店。

在此示例中，API 将检索前 3 页的酒店空房情况，包括 1 客 2019-10-01 和 2019-10-10 对于 巴黎的酒店 从 谷歌网站.这就是推拉法。

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_hotels", "domain"："com", "pages"：3, "query"："hotels in Paris", "context"：[{"key"："hotel_occupancy", "value": 1}, {"key"："hotel_dates", "value"："2019-10-01,2019-10-10"}]}'

这是实时的：

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_hotels", "domain"："com", "pages"：3, "query"："hotels in Paris", "context"：[{"key"："hotel_occupancy", "value": 1}, {"key"："hotel_dates", "value"："2019-10-01,2019-10-10"}]}'

旅行酒店

谷歌旅游酒店 数据源旨在检索 Google 旅行服务的酒店搜索结果。

查询参数

请注意，使用 Google hotels 时，您始终需要发送一个包含 "hotels "的关键词，例如 "洛杉矶的酒店"、"法国巴黎的酒店 "等。酒店 "和 "hotels "均可。Google 还支持当地语言，因此您可以发送 "Hotelli Helsingissä "查询赫尔辛基的酒店，或发送 "viešbučiai Vilnius "查询维尔纽斯的酒店。

在此示例中，API 将检索第 2 页的酒店空房情况结果，内容为 2 客人之间 2020-10-01 和 2020-10-10 对于 巴黎的酒店 从 谷歌网站.过滤后的结果将只显示 2 星级和 4 星级酒店。这是推拉法。

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_travel_hotels", "domain"："com"，"start_page"：2, "query"："巴黎的酒店"，"callback_url"："https://your.callback.url"，"context"：[{"key"："hotel_occupancy", "value": 2}，{"key"："hotel_dates", "value"："2020-10-01,2020-10-10"}, {"key":"hotel_classes", "value": [2,4]}]}'

这是实时的：

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_travel_hotels", "domain"："com"，"start_page"：2, "query"："巴黎的酒店"，"上下文"：[{"key"："hotel_occupancy", "value": 2}, {"key"："hotel_dates", "value"："2020-10-01,2020-10-10"}, {"key":"hotel_classes", "value": [2,4]}]}'

购物搜索

谷歌购物搜索 来源旨在检索 Google 购物搜索结果。

邮寄 https://data.oxylabs.io/v1/queries

查询参数

首先下载应用程序接口 4 搜索关键字 阿迪达斯，按降序价格和 $20 的最低价格排序。这就是 "推-拉 "的方法：

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_shopping_search", "domain"："com"，"query"："adidas", "pages"：4, "context"：{"key"："sort_by"，"value"："pd"}，{"key"："min_price"，"value"：20}]}'

以下是实时模式下的相同示例：

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_shopping_search", "domain"："com"，"query"："adidas", "pages"：4, "context"：{"key"："sort_by"，"value"："pd"}，{"key"："min_price"，"value"：20}]}'

购物产品

谷歌购物产品 源用于检索指定产品的 Google Shopping 产品页面。

查询参数

在此，应用程序接口将下载产品 ID 的产品页面 5007040952399054528 谷歌购物 谷歌网站.它还将获得前 4 页的定价信息。这就是推拉页面的样子：

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_shopping_product", "domain"："com", "query"："5007040952399054528"}'

在实时系统中也是如此：

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_shopping_product", "domain"："com", "query"："5007040952399054528"}'

购物产品定价

谷歌购物定价 源用于检索指定产品的 Google Shopping 产品定价页面。

查询参数

在此，应用程序接口将下载产品 ID 的产品定价页面 5007040952399054528 谷歌购物 谷歌网站.下面是一个推拉式示例：

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_shopping_pricing", "domain"："com", "query"："5007040952399054528"}'

在实时系统中也是如此：

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_shopping_pricing", "domain"："com", "query"："5007040952399054528"}'

图片

谷歌图片 源的目的是检索图像搜索页面，以查找与 询问 参数，以及包含这些图像的网站。

查询参数

在此示例中，应用程序接口将下载类似图像的图像搜索页面，以搜索图像 https://newsneakernews-wpengine.netdna-ssl.com/wp-content/uploads/2017/03/adidas-boost-march-25-2017.jpg 从 谷歌网站.这就是推拉法：

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_images", "domain"："com", "query"："https://newsneakernews-wpengine.netdna-ssl.com/wp-content/uploads/2017/03/adidas-boost-march-25-2017.jpg"}'

在实时系统中也是同样的要求：

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_images", "domain"："com", "query"："https://www.example.com/img/image.jpg"}'

建议

谷歌建议 该源代码旨在检索 Google 关键字建议。

查询参数

API 向 Google 建议页面发出请求，以检索关键字建议 阿迪达斯.应用程序接口会将一个 JSON 有效载荷发送到 your.callback.url 包含任务完成后下载结果的 URL。下面是一个推拉式示例：

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_suggest", "query"："adidas", "callback_url"："https://your.callback.url"}'

实时 "也有同样的要求：

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："google_suggest", "query"："阿迪达斯"}'

关键词数据

google_msv 数据源将检索指定关键字的 Google 关键字数据以及建议关键字（除非在上下文中传递 ideas=False）。关键字以字符串形式在查询参数中传递。关键词之间用逗号分隔。不支持关键字内的逗号，因此关键字 "Water Bottle 5,0L "实际上会被解释为 2 个关键字："水瓶 5 "和 "0L"。更多详情，请参阅右侧的输出示例。

查询参数

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
-d '{"source"："google_msv", "query"："meilleur restaurant", "geo_location"："Paris,Ile-de-France,France", "context"：[{"key"："语言"，"值"："法语"},{"键"："currency", "value"："EUR"}, {"key"："想法"，"值"：true}]}'

# 或者，如果您不需要创意：

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
-d '{"source"："google_msv", "query"："meilleur restaurant", "geo_location"："Paris,Ile-de-France,France", "context"：[{"key"："语言"，"值"："法语"},{"键"："currency", "value"："EUR"}, {"key"："想法"，"值"：false}]}'

输出示例（historicalSearchVolume 条目和想法条目切割）：

{
    "结果"：[
    {
        "内容"：
        {
            "想法"：[
            {
                "cpc"：4.712038,
                "keyword"："meilleur restaurant a paris"、
                "currency"："EUR"、
                "竞争"：0.3385383889238515,
                "averageSearchVolume"：1900,
                "historicalSearchVolume"：[
                {
                    "日期"："201803",
                    "搜索量"：1600
                },
                {
                    "日期"："201802",
                    "searchVolume"：1900
                }]
            }],
            "种子"：[
            {
                "cpc"：4.05351,
                "keyword"："meilleur restaurant"、
                "currency"："EUR"、
                "竞争"：0.3385341239238515,
                "averageSearchVolume"：2900,
                "historicalSearchVolume"：[
                {
                    "日期"："201803",
                    "搜索量"：3600
                },
                {
                    "日期"："201802",
                    "searchVolume"：2900
                }]
            }]
        }
    }]
}

解析数据

谷歌网页搜索（SERP）页面是唯一一个广泛支持解析数据交付的页面。以下是我们解析的 SERP 页面特定字段。结构数据可用 搜索 (一直）和 直接 (只要提交 SERP 页面 URL）。

谷歌网络搜索 ("来源"："谷歌搜索") 支持 CSV 输出。要访问它，请在谷歌网络搜索任务中包含以下参数 {"源"："google_search", "parse": true, "parser_type"："v2"}.CSV 作业的结果检索 URL 结构如下： http://data.oxylabs.io/v1/queries/{job_id}/results/normalized?format=csv.

搜索

有机和付费

"results": {
  "paid": [
    {
      "pos": 1,
      "url": "https://www.adidas.com/us",
      "desc": "New York · 10 locations nearby",
      "title": "adidas.com | adidas® Official Site | Official adidas® Online Store‎",
      "url_shown": "www.adidas.com/Official/Site",
      "pos_overall": 1
    }
  ],
  "organic": [
    {
      "pos": 1,
      "url": "https://www.adidas.com/us",
      "desc": "Welcome to adidas Shop for adidas shoes, clothing and view new collections for adidas Originals, running, football, training and much more.",
      "title": "adidas Official Website | adidas US",
      "url_shown": "https://www.adidas.com › ...",
      "pos_overall": 2
    },
    {
      "pos": 2,
      "url": "https://www.mena.adidas.com/",
      "desc": "Browse for adidas shoes, clothing and collections, adidas Originals, Running, Football, Training and more on the official adidas website.",
      "title": "adidas Official Website | adidas",
      "url_shown": "https://www.mena.adidas.com",
      "pos_overall": 6
    },
    {
      "pos": 3,
      "url": "https://www.adidas-group.com/",
      "desc": "adidas AG Supervisory Board announces candidates as shareholder ... adidas celebrates its 70th anniversary and the opening of the Arena building. August 9 ...",
      "title": "adidas - Home",
      "url_shown": "https://www.adidas-group.com",
      "pos_overall": 7
    },
    {
      "pos": 4,
      "url": "https://www.nycgo.com/shopping/the-adidas-store",
      "desc": "You don't so much shop in this flagship Adidas store as you experience it. With an interior modeled on a high school stadium, this four-story Midtown outlet—the  ...",
      "title": "The Adidas Store (Midtown) | NYCgo - NYCgo.com",
      "url_shown": "https://www.nycgo.com › shopping › the-adidas-store",
      "pos_overall": 8
    },
    {
      "pos": 5,
      "url": "https://www.yelp.com/search?find_desc=adidas+store&find_loc=Manhattan%2C+NY",
      "desc": "Reviews on Adidas Store in Manhattan, NY - Adidas, Adidas Originals New York SoHo, adidas Sport Performance, Upper 90 Soccer - Manhattan, Nike Soho, ...",
      "title": "Adidas Store Manhattan, NY - Last Updated August 2019 - Yelp",
      "url_shown": "https://www.yelp.com › search › find_desc=adidas+store",
      "pos_overall": 9
    },
    {
      "pos": 6,
      "url": "https://en.wikipedia.org/wiki/Adidas",
      "desc": "Adidas AG is a multinational corporation, founded and headquartered in Herzogenaurach, Germany, that designs and manufactures shoes, clothing and ...",
      "title": "Adidas - Wikipedia",
      "url_shown": "https://en.wikipedia.org › wiki › Adidas",
      "pos_overall": 10
    }
  ]

产品列表广告

"pla"：[
  {
    "pos"：1,
    "url"："http://www.adidas.com/us/asweego-shoes/F37038.html?cm_mmc=AdieSEM_Feeds-_-GoogleProductAds-_-NA-_-F37038&cm_mmca1=US&cm_mmca2=NA&kpid=F37038&sourceid=543457011",
    价格"$40.00"、
    "标题"："adidas Asweego Shoes Black 10.5 - Mens Running Shoes"、
    "卖家"："adidas"、
    "来源"：""
  },
  {
    "pos": 2、
    "url"："http://www.adidas.com/us/baseline-shoes/AW4299.html?cm_mmc=AdieSEM_Feeds-_-GoogleProductAds-_-NA-_-AW4299&cm_mmca1=US&cm_mmca2=NA&kpid=AW4299&sourceid=543457011",
    "价格"："$50.00"、
    "标题"："adidas Baseline Shoes White 13K - Originals Shoes"、
    卖家"adidas"、
    "来源"：""
  },
  ...
  {
    "pos": 29、
    "url"："https://www.zappos.com/product/8466374/color/21766"、
    "价格"："$79.95"、
    "标题"："adidas Superstar W Originals 女式经典鞋 白色/黑色/白色 : 9 B - Medium"、
    "卖家"："Zappos.com"、
    "来源"：""
  }
]

热门新闻

"top_stories"：[
  {
    "url"："https://www.cnet.com/news/spacex-starhopper-prototype-takes-giant-leap-for-elon-musk/"、
    "来源"："Cnet"、
    "标题"："SpaceX Starhopper 火箭原型为埃隆-马斯克带来巨大飞跃"、
    "时间范围"： "13 小时前"："13 小时前
  },
  {
    "url"："https://electrek.co/2019/08/27/elon-musk-tesla-china-made-model-3-rumor/"、
    "来源"："Electrek"、
    "标题"："传伊隆-马斯克将在本周举行的活动上发布首款中国制造的特斯拉 Model 3"、
    "时间范围"16小时前"
  },
  {
    "url"："https://www.bloomberg.com/news/articles/2019-08-28/musk-to-join-china-ai-summit-despite-trump-ordering-firms-out"、
    "来源"："彭博社"、
    "标题"："埃隆-马斯克和马云将在中国峰会上就人工智能展开辩论"、
    "时间范围"："4 小时前
  }
]

精选片段

"featured_snippet"：[
  {
    "url"："https://en.wikipedia.org/wiki/Contract_for_difference"、
    "desc"："在金融领域，差价合约（CFD）是双方之间的一种合约，通常描述为 "买方（buyer）"和 "卖方（seller）"，规定卖方向买方支付资产当前价值与合约时间价值之间的差额（如果差额为负，则买方向卖方支付......"、
    "标题"："差价合约 - 维基百科"、
    "url_shown"："https://en.wikipedia.org ' wiki ' Contract_for_difference"、
    "pos_overall"：1
  }
]

知识库

"知识"：{
  "标题"："阿迪达斯"、
  "事实"：[
    {
      "标题"："股价"、
      "content"："ADDDF（OTCMKTS）$291.81 +2.74 (+0.95%)美国东部时间 8 月 23 日下午 4:00 - 免责声明"
    },
    {
      "标题"："创始人"、
      "内容"："阿道夫-达斯勒"
    },
    {
      "标题"："成立"、
      "内容"："1949年8月18日，德国黑措根奥拉赫"
    },
    {
      "标题"："总部"、
      "内容"："德国黑措根奥拉赫"
    },
    {
      "标题"："子公司"、
      "内容"："锐步、Five Ten Footwear、Runtastic、Ashworth、MORE"
    },
    {
      "标题"："网站"、
      "content"："https://www.adidas.com/us"
    }
  ],
  "副标题"："设计公司"、
  "描述"："描述阿迪达斯公司（Adidas AG）是一家跨国公司，成立于德国黑措根奥拉赫（Herzogenaurach），总部设在德国。它是欧洲最大的运动服装制造商，也是仅次于耐克的世界第二大运动服装制造商。维基百科" }
}

本地包装

"local_pack"：[
  {
    "链接"：[
      {
        "href"："https://www.adidas.com/us?utm_source=gmb&utm_medium=organic&utm_campaign=US470198_local"、
        "标题"："网站"
      },
      {
        "href"："#"、
        "标题"："方向"
      }
    ],
    "电话"："",
    "标题"："adidas Originals 旗舰店"、
    "评分"：0,
    "地址"："Open ⋅ Closes 7PM"、
    "副标题"："(212) 966-0954",
    "pos_overall"：3,
    "rating_count"：0
  }
]

推特反馈

"twitter": [
  {
    "pos": 1,
    "url": "https://twitter.com/elonmusk",
    "title": "Elon Musk (@elonmusk) · Twitter",
    "tweets": [
      {
        "url": "https://twitter.com/elonmusk/status/1166081488648949760?ref_src=twsrc%5Egoogle%7Ctwcamp%5Eserp%7Ctwgr%5Etweet",
        "content": "Starhopper flight currently tracking to 5pm Texas time for 150m / ~500ft hover test",
        "timeframe": "11 hours ago"
      },
      {
        "url": "https://twitter.com/elonmusk/status/1165377786338406400?ref_src=twsrc%5Egoogle%7Ctwcamp%5Eserp%7Ctwgr%5Etweet",
        "content": "Looks like @SpaceX Starhopper flight may be as soon as Monday. FAA support is much appreciated!",
        "timeframe": "2 days ago"
      },
      {
        "url": "https://twitter.com/elonmusk/status/1165371975528640512?ref_src=twsrc%5Egoogle%7Ctwcamp%5Eserp%7Ctwgr%5Etweet",
        "content": "If you’re a utility or public utilities commission, please consider using the Tesla Megapack. Better for the environment & usually lower cost than fossil fuel peaker plants! www.tesla.com/megapack",
        "timeframe": "2 days ago"
      }
    ],
    "pos_overall": 1
  }
]

职位列表

"工作"：{
  "listings"：[
    {
      "title"："高级软件开发人员"、
      "来源"："via LinkedIn"、
      "雇主"："Jobs @ TheJobNetwork"、
      "地点"："Tulsa, OK"、
      "extra_details"：[
        "1天前"、
        全职
      ]
    },
    {
      "title"："自主车辆仿真软件工程师"、
      "来源"："via Built In Colorado"、
      "雇主"："Azevtec"、
      "地点"："美国"、
      "extra_details"：[
        "17小时前"、
        全职
      ]
    },
    {
      "title"："高级软件工程师 - Oracle 运输管理"、
      "来源"："via LinkedIn"、
      "雇主"："XPO Logistics, Inc："XPO Logistics, Inc、
      "地点"："美国"、
      "extra_details"：[
        "21小时前"、
        全职
      ]
    }
  ],
  "location_header"："美国附近"
}

旋转木马

"item_carousel"：{
  "items"：[
    {
      "title"："Chris Evans"、
      "副标题"："美国队长"
    },
    {
      "title"："Mark Ruffalo"、
      "subtitle"："绿巨人"
    },
    {
      "title"："汤姆-霍兰德
      "副标题"："蜘蛛侠"
    },
    {
      "title"："斯坦-李
      "副标题"："电视报道中的老人，巴士司机"
    },
    {
      "标题"："Chris Pratt"、
      {fnMicrosoftYaHeifs15bord1shad03aHCCb0}"字幕"："星爵"
    }
  ],
  "标题"："复仇者联盟/演员"
}

图片

"images": [
  {
    "alt": "Image result for contemporary wall clock",
    "href": "/search?q=contemporary+wall+clock&safe=off&hl=en&gl=US&tbm=isch&source=iu&ictx=1&fir=Qspcw8WiAmXYzM%253A%252C-m-5575uWYilbM%252C_&vet=1&usg=AI4_-kTGLIU9LAzoCJxO8gp7kK322MV8Yg&sa=X&ved=2ahUKEwjFy8rSy7HkAhWkDrkGHck7A24Q9QEwAXoECAkQBg#imgrc=Qspcw8WiAmXYzM:",
    "source": "https://www.allmodern.com/decor-pillows/sb0/wall-clocks-c429917.html"
  },
  {
    "alt": "Image result for contemporary wall clock",
    "href": "/search?q=contemporary+wall+clock&safe=off&hl=en&gl=US&tbm=isch&source=iu&ictx=1&fir=G0pFK8TQ91ls6M%253A%252Cr5nLxZQfxnA3MM%252C_&vet=1&usg=AI4_-kStPZh1tpSdQ5vTAZUIXwW4zThzQg&sa=X&ved=2ahUKEwjFy8rSy7HkAhWkDrkGHck7A24Q9QEwAnoECAkQCQ#imgrc=G0pFK8TQ91ls6M:",
    "source": "https://www.wayfair.com/decor-pillows/cat/modern-wall-clocks-c1869680.html"
  },
  ...
  {
    "alt": "Image result for contemporary wall clock",
    "href": "/search?q=contemporary+wall+clock&safe=off&hl=en&gl=US&tbm=isch&source=iu&ictx=1&fir=o4ZXIngZyr9HAM%253A%252C-m-5575uWYilbM%252C_&vet=1&usg=AI4_-kTIJMWyTs07HFcVKHTfTd6otLL82w&sa=X&ved=2ahUKEwjFy8rSy7HkAhWkDrkGHck7A24Q9QEwCnoECAkQIQ#imgrc=o4ZXIngZyr9HAM:",
    "source": "https://www.allmodern.com/decor-pillows/sb0/wall-clocks-c429917.html"
  }
]

相关问题

"相关问题"：[
  {
    "pos"：1,
    "问题"："阿迪达斯代表什么？"
  },
  {
    "pos": 2、
    {fn华文楷体fs121cH0080FFi1}"问题""阿迪达斯是德国的吗？"
  },
  {
    "pos"：3,
    "question"："乔丹鞋是阿迪达斯的吗？"
  },
  {
    "pos"：4,
    "question"："阿迪达斯旗下有哪些鞋类品牌？"
  }
]

购物搜索

...
"有机"：[
            {
              "pos"：1,
              "url"："/aclk?sa=l&ai=DChcSEwju8fmd84jpAhUPTxgKHQshDIcYABAHGgJsZQ&sig=AOD64_1BTHVcnNzI5775j9xNkILrCU2KYA&ctype=5&q=&ved=0ahUKEwjpr_Sd84jpAhVI2aYKHYn1CeMQvxMI4wQ&adurl="、
              "类型"："网格"、
              价格85,
              "标题"："阿迪达斯白色 Swift Run 女士休闲鞋......"、
              "商家"：{
                "url"："/aclk?sa=l&ai=DChcSEwju8fmd84jpAhUPTxgKHQshDIcYABAHGgJsZQ&sig=AOD64_1BTHVcnNzI5775j9xNkILrCU2KYA&ctype=5&q=&ved=0ahUKEwjpr_Sd84jpAhVI2aYKHYn1CeMQg-UECOoE&adurl="、
                "名称"："终点线"
              },
              "price_str"："$85.00."、
              "pos_overall"：1
            },
            {
              "pos": 2、
              "url"："/shopping/product/4092922174439754197?uule=w+CAIQICIXQ29sb3JhZG8sIFVuaXRlZCBTdGF0ZXM&q=adidas&prds=epd:6096059639745774212,paur:ClkAsKraX5cxKGk1E_r15f66xbFqydL47KoF9cO04jau1Hw_EeaJnz0EV5mb_JEjRlE5_m7N_B5Vg-krR5766rvdESfkczSSBqkGVDV7A5Ts8BlTUCNfpUxgtxIZAFPVH73vXbe47J5qGlzkfYH83D9zVPSv8w,prmr：1&sa=X&ved=0ahUKEwjpr_Sd84jpAhVI2aYKHYn1CeMQvxMI7AQ"、
              "类型"："网格"、
              "价格"：139.97,
              "标题"："阿迪达斯男式 Alphaboost 白色训练鞋......"、
              "商家"：{
                "url"："/aclk?sa=l&ai=DChcSEwju8fmd84jpAhUPTxgKHQshDIcYABAEGgJsZQ&sig=AOD64_3S0xuLlA1GOzNxCvYQdpeTLZkRyQ&ctype=5&q=&ved=0ahUKEwjpr_Sd84jpAhVI2aYKHYn1CeMQg-UECPQE&adurl="、
                "名称"："Baseball Savings.com
              },
              "price_str"："$139.97."、
              "pos_overall"：2
            },
...

购物产品

...
{
  "类型"："捆绑"、
  "项目"：[
    {
      "值"："仅控制台"、
      "selected": true、
      "available": true、
      "product_id"："5007040952399054528"
    },
    {
      "值"："Splatoon 2 捆绑包"、
      "available": false、
      "product_id"："6767220879106424425"
    },
    {
      "值"： false"超级马里奥奥德赛版"、
      "available": false、
      "product_id"："11634753303078094444"
    }
  ]
}
...

购物产品定价

"内容"：{
  "url"："https://www.google.com/shopping/product/5007040952399054528/online",
  "标题"："Nintendo Switch with Joy-Con - 32 GB - 灰色/黑色"、
  "评分"：4.5,
  "定价"：[
    {
      价格319.99,
      "卖方"："Electronic Express"、
      "详情"："免运费"、
      "货币"："$"、
      "price_tax"：0,
      "price_total": 319.99、
      "seller_link"："/aclk?sa=l&ai=DChcSEwi9t9HqoJ7mAhVCXw0KHdyPBEYYABABGgJxYg&sig=AOD64_2gaL_J1BQ5J5PR-JazDM86N23Nww&adurl=&ctype=5&q="、
      "price_shipping"：0
    },
    {
      "价格"：334.99,
      "卖家"："ShopZodys"、
      "详情"："12 月 9 - 13 日到达"、
      "货币"："$"、
      "价格税"：27.69,
      "price_total": 412.67、
      "seller_link"："/aclk?sa=l&ai=DChcSEwi9t9HqoJ7mAhVCXw0KHdyPBEYYABADGgJxYg&sig=AOD64_1Rqy4wxKvZXAaoX9FNDBy379EAAA&adurl=&ctype=5&q="、
      "price_shipping"：49.99
    }

参数值

用户代理

下载完整列表 用户代理类型 JSON 中的值 这里.

[
  {
    "user_agent_type"："桌面"、
    "描述"："随机桌面浏览器用户代理"
  },
  {
    "user_agent_type"："desktop_firefox"、
    "描述"："最新版桌面火狐浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_chrome"、
    "description"："最新版桌面 Chrome 浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_opera"、
    "description"："最新版本桌面 Opera 的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_edge"、
    "description"："桌面边缘最新版本之一的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_safari"、
    "description"："桌面 Safari 最新版本之一的随机用户代理"。
  },
  {
    "user_agent_type"："mobile"、
    "description"："随机移动浏览器用户代理"
  },
  {
    "user_agent_type"："mobile_android"、
    "description"（描述）："最新版本安卓浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："mobile_ios"、
    "描述"："最新版本 iPhone 浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："平板电脑"、
    "描述"："随机平板电脑浏览器用户代理"
  },
  {
    "user_agent_type"："tablet_android"、
    "描述"："最新版本安卓平板电脑的随机用户代理"。
  },
  {
    "user_agent_type"："tablet_ios"、
    "description"："最新版本 iPad 平板电脑的随机用户代理"。
  }
]

地点

下载完整列表 地点 JSON 中的值 这里.

[
   {
      "locale":{
         "en-ai":{
            "description": "Anguilla - English"、
            "domain": "com.ai"。
         },
         "es-pr":{
            "description": "Puerto Rico - Spanish"、
            "域": "com.pr"
         },
         ...
         "en-by":{
            "description": "Belarus - English"、
            "domain": "by" }.
         },
         "en-in":{
            "description": "India - English"、
            domain": "co.in" }, "en-in":{ "description": "India - English", "domain": "co.in"
         }
      }
   }
]

结果 语言

下载完整列表 results_language JSON 中的值 这里.

[
 {
   "results_language"："af"、
   "语言"："南非荷兰语"
 },
 {
   "results_language"："ar"、
   "语言"："阿拉伯语"
 },
 ...
 {
   "results_language"："vi"、
   "语言"："越南语"
 }
]

地理位置

有几种方法可以使用 地理位置 参数，以获得正确本地化的 Google 结果。

• 使用 Google 的规范位置名称.这非常简单。只需将 CSV 下载中的一个值传递给我们即可 这里.例如 "geo_location"："纽约州纽约市美国".
• 使用州名.剔除 Google 标准位置名称的前半部分，并传递一个 地理位置 在 "州、国家" 格式。适用于美国、澳大利亚、印度和其他联邦制国家。举例说明 "地理位置"："美国加利福尼亚州".
• 使用国家名称.若要获取某个国家地理中心点的本地化结果，请输入官方国家名称。例如 "geo_location"：英国.
• 使用坐标和半径.要获得超本地搜索结果（尤其适用于 "我附近的餐馆 "等搜索），可以传递纬度、经度和半径值。下面的示例传递的是华盛顿州西雅图 Space Needle 的坐标： "geo_location"："lat: 47.6205, lng：-122.3493, rad: 25000".

如果通过拼写错误的 地理位置 参数，我们或 Google 有可能会为您解释并更正。不过，我们建议使用上述参数结构，并结合 地点 和 领域 参数，以获得最准确的结果。

账户状态

使用统计

您可以通过查询以下端点找到您的使用统计数据：

GET https://data.oxylabs.io/v1/stats

默认情况下，API 将返回所有时间的使用统计数据。添加 group_by=month 将返回月度统计数据，而 group_by=day 将返回每日数字。

该查询将返回所有时间的统计数据。您可以通过添加 group_by=day 或 group_by=month

curl --user user:pass1 'https://data.oxylabs.io/v1/stats'

输出示例

{
    "数据"：{
        "sources"：[
            {
                "realtime_results_count"："90",
                "results_count"："10",
                "标题"："谷歌酒店"
            },
            {
                "realtime_results_count"："19",
                "results_count"："87",
                "标题"："谷歌搜索"
            }
        ]
    },
    "元"：{
        "group_by": null
    }
}

限制

以下终端将提供您的每月承诺信息以及已使用的金额：

GET https://data.oxylabs.io/v1/stats/limits

curl --user user:pass1 'https://data.oxylabs.io/v1/stats/limits'

输出示例

{
    "monthly_requests_commitment"：4500000,
    "used_requests"：985000
}

响应代码

解析后的数据响应代码：

云存储上传响应代码：

参考资料

• https://docs.oxylabs.io/rtc/source/google/index.html
• https://docs.oxylabs.io/rtc/index.html

免责声明 这部分内容主要来自商家。如果商家不希望在我的网站上显示，请 联系我们 删除您的内容。

你知道如何使用 OxyLabs Real-time Crawler for Yandex 吗？这是 OxyLabs 官方最全面的介绍。

快速入门

Real-Time Crawler 专为重型数据检索操作而设计。你可以使用 Real-Time Crawler 访问各种 Yandex 网页。它能毫不费力地从搜索引擎中提取网络数据，不会出现任何延迟或错误。

用于 Yandex 的实时抓取器 基本 HTTP 身份验证 需要发送用户名和密码。

这是迄今为止开始使用 Yandex 实时爬虫的最快方法。您将发送一个查询 阿迪达斯 至 搜索 使用 实时 整合方法。不要忘记替换 用户名 和 密码 使用代理用户凭据。

curl --user "USERNAME:PASSWORD" 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json" -d '{"source"："yandex_search", "domain"："com"，"query"："adidas"}'

如果您有任何本文件未涉及的问题，请联系您的客户经理或我们的支持人员，地址是 support@oxylabs.io.

整合方法

Real-Time Crawler for Yandex 支持三种集成方法，它们都有各自独特的优势：

• 推拉式.使用这种方法，现在需要与我们的端点保持活动连接，以检索数据。在发出请求后，我们的系统会在任务完成后自动 ping 用户服务器（请参阅 回调).这种方法可以节省计算资源，而且易于扩展。
• 实时.该方法要求用户与我们的端点保持活动连接，以便在任务完成时成功获取结果。这种方法可以在一个服务中实现，而推拉法则需要两个步骤。
• 超级用户接口.这种方法与实时方法非常相似，但用户可以使用 HTML Cralwer 作为代理，而不是向我们的端点发布数据。要检索数据，用户必须设置一个代理端点，并向所需的 URL 发送 GET 请求。必须使用标头添加其他参数。

我们推荐的数据提取方法是 推拉式.

推拉式

这是最简单、最可靠、最值得推荐的数据传输方法。在推拉式方案中，您向我们发送查询，我们向您返回工作 本我工作完成后，您可以使用 本我 中检索内容 /结果 端点。你可以自己检查作业完成状态，也可以设置一个能接受 POST 查询的简单监听器。

这样，一旦作业准备就绪，我们就会向您发送回调消息。在本例中，结果将自动 上传到您的 S3 存储桶 名为 您的邮筒名称.

单一查询

以下端点将处理对一个关键字或 URL 的单次查询。API 将返回一条确认信息，其中包含任务信息，包括任务 本我.您可以使用它来检查任务完成状态 本我或者，您也可以要求我们在扫描任务完成后 ping 您的回调端点，方法是添加 回调URL 在查询中。

邮寄 https://data.oxylabs.io/v1/queries

您需要在 JSON 主体中将查询参数作为数据发布。

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："yandex_search", "domain"："com"，"query"："adidas", "callback_url"："https://your.callback.url"，"storage_type"："s3"，"storage_url"："your_bucket_name"}'

API 将以 JSON 格式响应查询信息，并将其打印在响应体中，与此类似：

{
  "callback_url"："https://your.callback.url"、
  "client_id"：5,
  "created_at"："2019-10-01 00:00:01",
  "域"："com"、
  "geo_location": null、
  "id"："12345678900987654321",
  "限制"：10,
  "locale": null、
  "pages"：1,
  "parse": false、
  "render": null、
  "查询"："adidas"、
  "来源"："yandex_search"、
  "start_page"：1,
  "状态"："pending"、
  "storage_type"："s3",
  "storage_url"："YOUR_BUCKET_NAME/12345678900987654321.json",
  "subdomain"："www"、
  "updated_at"："2019-10-01 00:00:01",
  "user_agent_type"："desktop"、
  "_链接"：[
    {
      "rel"："self"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321",
      "method"："GET"
    },
    {
      "rel"："results"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321/results",
      "method"："GET"
    }
  ]
}

检查工作状态

如果您的查询有 回调URL一旦完成刮擦任务，我们将向您发送一条包含内容链接的信息。但是，如果没有 回调URL 在查询中，您需要自己检查任务状态。为此，您需要使用 href 根据 rel:自我 在您向我们的 API 提交查询后收到的响应信息中。它应该与下面的内容相似： http://data.oxylabs.io/v1/queries/12345678900987654321.

GET https://data.oxylabs.io/v1/queries/{id}

查询该链接将返回工作信息，包括其 地位.有 3 种可能 地位 价值观

curl --user user:pass1 'http://data.oxylabs.io/v1/queries/12345678900987654321'

API 将在响应正文中打印 JSON 格式的查询信息。请注意，任务 地位 改为 完成的.现在您可以通过查询 http://data.oxylabs.io/v1/queries/12345678900987654321/results.

您还可以看到任务已被 updated_at 2019-10-01 00:00:15 - 查询需要 14 秒才能完成。

{
  "client_id"：5,
  "created_at"："2019-10-01 00:00:01",
  "域"："com"、
  "geo_location": null、
  "id"："12345678900987654321",
  "限制"：10,
  "locale": null、
  "pages"：1,
  "parse": false、
  "render": null、
  "查询"："adidas"、
  "来源"："yandex_search"、
  "start_page"：1,
  "状态"："done"、
  "子域"："www"、
  "updated_at"："2019-10-01 00:00:15",
  "user_agent_type"："desktop"、
  "_链接"：[
    {
      "rel"："self"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321",
      "method"："GET"
    },
    {
      "rel"："results"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321/results",
      "method"："GET"
    }
  ]
}

检索工作内容

通过检查作业状态或接收我们的回调，一旦知道作业已准备就绪，您就可以使用以下 URL 获取作业 href 根据 rel:成果 在我们的初始响应或回调信息中。看起来应该类似于下面这样： http://data.oxylabs.io/v1/queries/12345678900987654321/results.

GET https://data.oxylabs.io/v1/queries/{id}/results

通过设置 "任务状态"，可以自动检索结果，而无需定期检查任务状态。 回调 服务。用户需要指定运行回调服务的服务器的 IP 或域。当我们的系统完成一项任务时，它将向所提供的 IP 或域发送一条信息，回调服务将下载结果，如 回调实现示例.

curl --user user:pass1 'http://data.oxylabs.io/v1/queries/12345678900987654321/results'

API 将返回工作内容：

{
  "结果"：[
    {
      "content"："<!
        内容
      ",
      "created_at"："2019-10-01 00:00:01",
      "更新时间"："2019-10-01 00:00:15",
      "页"：1,
      "url"："https://www.yandex.com/search?q=adidas&hl=en&gl=US"、
      "job_id"："12345678900987654321",
      "status_code"：200
    }
  ]
}

回调

回调是一个 职位 我们会向您的机器发送请求，告知数据提取任务已完成，并提供下载刮擦内容的 URL。这意味着您不再需要 检查工作状态 手动操作。一旦数据到齐，我们会通知您，您现在需要做的就是 取回.

# 请查看 Python 和 PHP 代码示例。

回调输出示例

{
   "created_at":"2019-10-01 00:00:01",
   "updated_at":"2019-10-01 00:00:15",
   "locale":null、
   "client_id":163、
   "user_agent_type": "desktop"、
   "来源": "yandex_search"、
   "页面":1、
   "子域": "www"、
   "status": "done"、
   "start_page":1、
   "parse":0、
   "render":null、
   "priority":0、
   "ttl":0、
   "origin": "api"、
   "persist":true、
   "id":"12345678900987654321",
   "callback_url": "http://your.callback.url/"、
   "query": "adidas"、
   "domain": "com"、
   "limit":10、
   "geo_location":null、
   {...}
   "_links":[
      {
         "href":"https://data.oxylabs.io/v1/queries/12345678900987654321",
         "method": "GET"、
         "rel": "self"
      },
      {
         "href":"https://data.oxylabs.io/v1/queries/12345678900987654321/results",
         "method": "GET"、
         "rel": "results" }
      }
   ],
}

批量查询

实时爬虫还支持执行多个关键字，每批最多可执行 1,000 个关键字。以下端点将向提取队列提交多个关键词。

邮寄 https://data.oxylabs.io/v1/queries/batch

您需要在 JSON 主体中将查询参数作为数据发布。

系统会将每个关键词作为一个单独请求处理。如果您提供了回调 URL，您将为每个关键字收到单独的调用。否则，我们的初始响应将包含工作 本我的所有关键字。例如，如果您发送了 50 个关键字，我们将返回 50 个唯一的职位。 本我s.

重要！ 询问 是唯一一个可以有多个值的参数。所有其他参数对于该批次查询都是一样的。

curl --user user:pass1 'https://data.oxylabs.io/v1/queries/batch' -H 'Content-Type: application/json' -d '@keywords.json
 -d'@keywords.json'（关键词

keywords.json 内容：

{
   "query":[
      "阿迪达斯"、
      "耐克"、
      "蕾博克"
   ],
   "来源"："yandex_search"、
   "域"："com"、
   "callback_url"："https://your.callback.url"
}

API 将以 JSON 格式响应查询信息，并将其打印在响应体中，与此类似：

{
  "查询"：[
    {
      "callback_url"："https://your.callback.url"、
      {...}
      "created_at"："2019-10-01 00:00:01",
      "域"："com"、
      "id"："12345678900987654321",
      {...}
      "查询"："阿迪达斯"、
      "来源"："yandex_search"、
      {...}
          "rel"："results"、
          "href"："http://data.oxylabs.io/v1/queries/12345678900987654321/results",
          "method"："GET"
        }
      ]
    },
    {
      "callback_url"："https://your.callback.url"、
      {...}
      "created_at"："2019-10-01 00:00:01",
      "域"："com"、
      "id"："12345678901234567890",
      {...}
      "查询"："NIKE"、
      "来源"："yandex_search"、
      {...}
          "rel"："results"、
          "href"："http://data.oxylabs.io/v1/queries/12345678901234567890/results",
          "method"："GET"
        }
      ]
    },
    {
      "callback_url"："https://your.callback.url"、
      {...}
      "created_at"："2019-10-01 00:00:01",
      "域"："com"、
      "id"："01234567899876543210",
      {...}
      "查询"："reebok"、
      "来源"："yandex_search"、
      {...}
          "rel"："results"、
          "href"："http://data.oxylabs.io/v1/queries/01234567899876543210/results",
          "method"："GET"
        }
      ]
    }
  ]
}

获取通知程序 IP 地址列表

您可能希望将向您发送回调信息的 IP 列入白名单，或为其他目的获取这些 IP 的列表。这可以通过 获取在这个端点上： https://data.oxylabs.io/v1/info/callbacker_ips.

curl --user user:pass1 'https://data.oxylabs.io/v1/info/callbacker_ips'

API 将返回向您的系统发出回调请求的 IP 列表：

{
    "ips"：[
        "x.x.x.x"、
        "y.y.y.y"
    ]
}

上传到存储器

默认情况下，RTC 任务结果存储在我们的数据库中。这意味着您需要查询我们的结果端点并自行检索内容。自定义存储功能允许您将结果存储在自己的云存储中。该功能的优势在于，您无需为了获取结果而发出额外请求，所有内容都会直接存储到您的存储桶中。

我们支持亚马逊 S3 和谷歌云存储。如果您想使用其他类型的存储，请联系您的客户经理，讨论功能交付时间表。

亚马逊 S3

要将作业结果上传到 Amazon S3 存储桶，请为我们的服务设置访问权限。为此，请访问 https://s3.console.aws.amazon.com/ > S3 > 存储 > 桶名称（如果没有，请新建） > 权限 > 桶策略

您可以在此找到水桶政策 JSON 或右侧的代码示例区。不要忘记在 您的邮筒名称.通过该策略，我们可以向您的邮筒写入内容，允许您访问上传的文件，并了解邮筒的位置。

谷歌云存储

要将作业结果上传到您的 Google Cloud Storage 存储桶，请为我们的服务设置特殊权限。为此，请使用 存储.对象.创建 权限并将其分配给 Oxylabs 服务帐户电子邮件 oxyserps-storage@oxyserps-storage.iam.gserviceaccount.com.

使用方法

要使用此功能，请在请求中指定两个附加参数。了解更多信息 这里.

上传路径如下 YOUR_BUCKET_NAME/job_ID.json.您可以在提交请求后从我们收到的回复正文中找到职位 ID。在 本例 工作编号为 12345678900987654321.

{
    "版本"："2012-10-17",
    "Id"："Policy1577442634787",
    "声明"：[
        {
            "Sid"："Stmt1577442633719"、
            "效果"："允许"、
            "校长"：{
                "AWS"："arn:aws:iam::324311890426:user/oxylabs.s3.uploader"
            },
            "Action"："s3:GetBucketLocation"、
            "资源"："arn:aws:s3:::YOUR_BUCKET_NAME" }.
        },
        {
            "Sid"："Stmt1577442633719"、
            "效果"："允许"、
            "校长"：{
                "AWS"："arn:aws:iam::324311890426:user/oxylabs.s3.uploader"
            },
            "Action"：[
                "s3:PutObject"、
                "s3:PutObjectAcl"。
            ],
            "资源"："arn:aws:s3:::YOUR_BUCKET_NAME/*"。
        }
    ]
}

实时

数据提交方式与推拉方式相同，但在实时情况下，我们将在连接打开时返回内容。您向我们发送查询，连接保持打开，我们检索内容并发送给您。处理的端点如下：

邮寄 https://realtime.oxylabs.io/v1/queries

开放连接的超时限制为 150 秒，因此在极少数负载较重的情况下，我们可能无法确保将数据发送给您。

您需要在 JSON 主体中将查询参数作为数据发布。详情请参阅示例。

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："yandex_search", "domain"："com", "query"："adidas"}'

打开连接时将返回的响应体示例：

{
  "结果"：[
    {
      "content"："
      内容
      "
      "created_at"："2019-10-01 00:00:01",
      "更新时间"："2019-10-01 00:00:15",
      "id": null、
      "page"：1,
      "url"："https://www.yandex.com/search?q=adidas&hl=en&gl=US"、
      "job_id"："12345678900987654321",
      "status_code"：200
    }
  ]
}

超级用户接口

如果您曾经使用过普通代理进行数据搜刮，那么集成 SuperAPI 传输方法将轻而易举。只需将我们的入口节点用作代理，使用实时爬虫凭据进行授权，并忽略证书即可。在 cURL 这是 -k 或 --不安全.您的数据将通过开放连接发送给您。

GET realtime.oxylabs.io:60000

超级用户接口只支持少量参数，因为它 仅适用于 直接 数据源 其中提供了完整的 URL。这些参数应作为标头发送。这是可接受的参数列表：

如果您在设置超级用户接口时需要帮助，请致电 support@oxylabs.io.

curl -k -x realtime.oxylabs.io:60000 -U user:pass1 -H "X-OxySERPs-User-Agent-Type: desktop_chrome"
-H "X-OxySERPs-Geo-Location：15550" "https://yandex.com/search/?text=nike"

内容类型

实时爬虫返回 原始HTML.

数据来源

使用实时爬虫从 Yandex 检索数据有两种方法。您可以通过以下方式向我们提供完整的 URL 直接或者您可以通过专门构建的数据源--"...... "来指定参数。 搜索.

从技术上讲，这不是一种内容类型，但实时抓取器能够在抓取时呈现 JavaScript。这在某些 Yandex 页面中可能是必要的。在 渲染 JS 将指示特定数据源是否可以在启用 JavaScript 的情况下进行刮擦。

如果您不确定选择哪种方式，请给我们留言 support@oxylabs.io 或联系您的客户经理。

直接

yandex 源的目的是检索各种 Yandex 页面的直接 URL 内容。这意味着您可以向我们提供所需的 Yandex 页面的直接 URL，而无需发送多个参数。我们不会删除任何参数或以任何其他方式更改您的 URL。

查询参数

在本例中，应用程序接口将检索 Yandex 搜索关键字 耐克 推拉法

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："yandex", "url"："https://yandex.com/search/?text=nike&"}'

以下是实时模式下的相同示例：

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："yandex", "url"："https://yandex.com/search/?text=nike&"}'

并通过超级用户接口（SuperAPI）：

curl -k -x realtime.oxylabs.io:60000 -U user:pass1 "https://yandex.com/search/?text=nike&"

搜索

搜索 源用于检索 Yandex 搜索结果（SERP）。

查询参数

API 向 yandex.com 检索关键字从第 11 到第 20 的搜索结果页面 阿迪达斯.API 将向 your.callback.url 包含 URL，以便在数据检索任务成功完成后下载原始 HTML 输出。这就是推拉式：

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："yandex_search", "domain"："com", "query"："adidas", "start_page"：11, "pages"：10, "callback_url"："https://your.callback.url"}'

以下是实时模式下的相同示例：

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："yandex_search", "domain"："com", "query"："adidas", "start_page"：11, "pages"：10, "callback_url"："https://your.callback.url"}'

参数值

用户代理

下载完整列表 用户代理类型 JSON 中的值 这里.

[
  {
    "user_agent_type"："桌面"、
    "描述"："随机桌面浏览器用户代理"
  },
  {
    "user_agent_type"："desktop_firefox"、
    "描述"："最新版桌面火狐浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_chrome"、
    "description"："最新版桌面 Chrome 浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_opera"、
    "description"："最新版本桌面 Opera 的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_edge"、
    "description"："桌面边缘最新版本之一的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_safari"、
    "description"："桌面 Safari 最新版本之一的随机用户代理"。
  },
  {
    "user_agent_type"："mobile"、
    "description"："随机移动浏览器用户代理"
  },
  {
    "user_agent_type"："mobile_android"、
    "description"（描述）："最新版本安卓浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："mobile_ios"、
    "描述"："最新版本 iPhone 浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："平板电脑"、
    "描述"："随机平板电脑浏览器用户代理"
  },
  {
    "user_agent_type"："tablet_android"、
    "描述"："最新版本安卓平板电脑的随机用户代理"。
  },
  {
    "user_agent_type"："tablet_ios"、
    "description"："最新版本 iPad 平板电脑的随机用户代理"。
  }
]

账户状态

使用统计

您可以通过查询以下端点找到您的使用统计数据：

GET https://data.oxylabs.io/v1/stats

默认情况下，API 将返回所有时间的使用统计数据。添加 group_by=month 将返回月度统计数据，而 group_by=day 将返回每日数字。

该查询将返回所有时间的统计数据。您可以通过添加 group_by=day 或 group_by=month

curl --user user:pass1 'https://data.oxylabs.io/v1/stats'

输出示例

{
    "数据"：{
        "sources"：[
            {
                "realtime_results_count"："90",
                "results_count"："10",
                "标题"："yandex
            },
            {
                "realtime_results_count"："19",
                "results_count"："87",
                "标题"："yandex_search
            }
        ]
    },
    "元"：{
        "group_by": null
    }
}

限制

以下终端将提供您的每月承诺信息以及已使用的金额：

GET https://data.oxylabs.io/v1/stats/limits

curl --user user:pass1 'https://data.oxylabs.io/v1/stats/limits'

输出示例

{
    "monthly_requests_commitment"：4500000,
    "used_requests"：985000
}

响应代码

云存储上传响应代码：

参考资料

• https://docs.oxylabs.io/rtc/source/yandex/index.html
• https://docs.oxylabs.io/rtc/index.html

免责声明 这部分内容主要来自商家。如果商家不希望在我的网站上显示，请 联系我们 删除您的内容。

你知道如何使用 OxyLabs Real-time Crawler for Bing 吗？这是 OxyLabs 官方最全面的介绍。

快速入门

Real-Time Crawler 专为重型数据检索操作而设计。你可以使用 Real-Time Crawler 访问各种必应网页。它能毫不费力地从搜索引擎中提取网页数据，不会出现任何延迟或错误。

必应使用的实时爬虫 基本 HTTP 身份验证 需要发送用户名和密码。

这是目前开始使用必应实时爬虫的最快方法。您将发送一个查询 阿迪达斯 至 bing_search 使用 实时 整合方法。不要忘记替换 用户名 和 密码 使用代理用户凭据。

curl --user "USERNAME:PASSWORD" 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json" -d '{"source"："bing_search", "domain"："com", "query"："adidas"}'

如果您有任何本文件未涉及的问题，请联系您的客户经理或我们的支持人员，地址是 support@oxylabs.io.

整合方法

Real-Time Crawler for Bing 支持三种集成方法，它们都有各自独特的优势：

• 推拉式.使用这种方法，现在需要与我们的端点保持活动连接，以检索数据。在发出请求后，我们的系统会在任务完成后自动 ping 用户服务器（请参阅 回调).这种方法可以节省计算资源，而且易于扩展。
• 实时.该方法要求用户与我们的端点保持活动连接，以便在任务完成时成功获取结果。这种方法可以在一个服务中实现，而推拉法则需要两个步骤。
• 超级用户接口.这种方法与实时方法非常相似，但用户可以使用 HTML Cralwer 作为代理，而不是向我们的端点发布数据。要检索数据，用户必须设置一个代理端点，并向所需的 URL 发送 GET 请求。必须使用标头添加其他参数。

我们推荐的数据提取方法是 推拉式.

推拉式

这是最简单、最可靠、最值得推荐的数据传输方法。在推拉式方案中，您向我们发送查询，我们向您返回工作 本我工作完成后，您可以使用 本我 中检索内容 /结果 端点。你可以自己检查作业完成状态，也可以设置一个能接受 POST 查询的简单监听器。

这样，一旦作业准备就绪，我们就会向您发送回调消息。在本例中，结果将自动 上传到您的 S3 存储桶 名为 您的邮筒名称.

单一查询

以下端点将处理对一个关键字或 URL 的单次查询。API 将返回一条确认信息，其中包含任务信息，包括任务 本我.您可以使用它来检查任务完成状态 本我或者，您也可以要求我们在扫描任务完成后 ping 您的回调端点，方法是添加 回调URL 在查询中。

邮寄 https://data.oxylabs.io/v1/queries

您需要在 JSON 主体中将查询参数作为数据发布。

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："bing_search", "domain"："com", "query"："adidas", "callback_url"："https://your.callback.url"，"storage_type"："s3"，"storage_url"："your_bucket_name"}'

API 将以 JSON 格式响应查询信息，并将其打印在响应体中，与此类似：

{
  "callback_url"："https://your.callback.url"、
  "client_id"：5,
  "context"：[
    {
      "key"："safe_search"、
      "value": null
    }
  ],
  "created_at"："2019-10-01 00:00:01",
  "域"："com"、
  "geo_location": null、
  "id"："12345678900987654321",
  "限制"：10,
  "locale": null、
  "pages"：1,
  "render": null、
  "query"："adidas"、
  "来源"："bing_search"、
  "start_page"：1,
  "状态"："pending"、
  "storage_type"："s3",
  "storage_url"："YOUR_BUCKET_NAME/12345678900987654321.json",
  "subdomain"："www"、
  "updated_at"："2019-10-01 00:00:01",
  "user_agent_type"："desktop"、
  "_链接"：[
    {
      "rel"："self"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321",
      "method"："GET"
    },
    {
      "rel"："results"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321/results",
      "method"："GET"
    }
  ]
}

检查工作状态

如果您的查询有 回调URL一旦完成刮擦任务，我们将向您发送一条包含内容链接的信息。但是，如果没有 回调URL 在查询中，您需要自己检查任务状态。为此，您需要使用 href 根据 rel:自我 在您向我们的 API 提交查询后收到的响应信息中。它应该与下面的内容相似： http://data.oxylabs.io/v1/queries/12345678900987654321.

GET https://data.oxylabs.io/v1/queries/{id}

查询该链接将返回工作信息，包括其 地位.有 3 种可能 地位 价值观

curl --user user:pass1 'http://data.oxylabs.io/v1/queries/12345678900987654321'

API 将在响应正文中打印 JSON 格式的查询信息。请注意，任务 地位 改为 完成的.现在您可以通过查询 http://data.oxylabs.io/v1/queries/12345678900987654321/results.

您还可以看到任务已被 updated_at 2019-10-01 00:00:15 - 查询需要 14 秒才能完成。

{
  "client_id"：5,
  "context"：[
    {
      "key"："safe_search"、
      "value": null
    }
  ],
  "created_at"："2019-10-01 00:00:01",
  "域"："com"、
  "geo_location": null、
  "id"："12345678900987654321",
  "限制"：10,
  "locale": null、
  "pages"：1,
  "render": null、
  "query"："adidas"、
  "来源"："bing_search"、
  "start_page"：1,
  "状态"："done"、
  "子域"："www"、
  "updated_at"："2019-10-01 00:00:15",
  "user_agent_type"："desktop"、
  "_链接"：[
    {
      "rel"："self"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321",
      "method"："GET"
    },
    {
      "rel"："results"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321/results",
      "method"："GET"
    }
  ]
}

检索工作内容

通过检查作业状态或接收我们的回调，一旦知道作业已准备就绪，您就可以使用以下 URL 获取作业 href 根据 rel:成果 在我们的初始响应或回调信息中。看起来应该类似于下面这样： http://data.oxylabs.io/v1/queries/12345678900987654321/results

GET https://data.oxylabs.io/v1/queries/{id}/results

通过设置 "任务状态"，可以自动检索结果，而无需定期检查任务状态。 回调 服务。用户需要指定运行回调服务的服务器的 IP 或域。当我们的系统完成一项任务时，它将向所提供的 IP 或域发送一条信息，回调服务将下载结果，如 回调实现示例.

curl --user user:pass1 'http://data.oxylabs.io/v1/queries/12345678900987654321/results'

API 将返回工作内容：

{
  "结果"：[
    {
      "content"："<!
        内容
      ",
      "created_at"："2019-10-01 00:00:01",
      "更新时间"："2019-10-01 00:00:15",
      "页"：1,
      "url"："https://www.bing.com/search?q=adidas"、
      "job_id"："12345678900987654321",
      "status_code"：200
    }
  ]
}

回调

回调是一个 职位 我们会向您的机器发送请求，告知数据提取任务已完成，并提供下载刮擦内容的 URL。这意味着您不再需要 检查工作状态 手动操作。一旦数据到齐，我们会通知您，您现在需要做的就是 取回.

# 请查看 Python 和 PHP 代码示例。

回调输出示例

{
   "created_at":"2019-10-01 00:00:01",
   "updated_at":"2019-10-01 00:00:15",
   "locale":null、
   "client_id":163、
   "user_agent_type": "desktop"、
   "source": "bing_search"、
   "页面":1、
   "子域": "www"、
   "status": "done"、
   "start_page":1、
   "render":null、
   "priority":0、
   "ttl":0、
   "origin": "api"、
   "persist":true、
   "id":"12345678900987654321",
   "callback_url": "http://your.callback.url/"、
   "query": "adidas"、
   "domain": "com"、
   "limit":10、
   "geo_location":null、
   {...}
   "_links":[
      {
         "href":"https://data.oxylabs.io/v1/queries/12345678900987654321",
         "method": "GET"、
         "rel": "self"
      },
      {
         "href":"https://data.oxylabs.io/v1/queries/12345678900987654321/results",
         "method": "GET"、
         "rel": "results" }
      }
   ],
}

批量查询

实时爬虫还支持执行多个关键字，每批最多可执行 1,000 个关键字。以下端点将向提取队列提交多个关键词。

邮寄 https://data.oxylabs.io/v1/queries/batch

您需要在 JSON 主体中将查询参数作为数据发布。

系统会将每个关键词作为一个单独请求处理。如果您提供了回调 URL，您将为每个关键字收到单独的调用。否则，我们的初始响应将包含工作 本我的所有关键字。例如，如果您发送了 50 个关键字，我们将返回 50 个唯一的职位。 本我s.

重要！ 询问 是唯一一个可以有多个值的参数。所有其他参数对于该批次查询都是一样的。

curl --user user:pass1 'https://data.oxylabs.io/v1/queries/batch' -H 'Content-Type: application/json' -d '@keywords.json
 -d'@keywords.json'（关键词

keywords.json 内容：

{
   "query":[
      "阿迪达斯"、
      "耐克"、
      "蕾博克"
   ],
   "来源"："bing_search"、
   "域"："com"、
   "callback_url"："https://your.callback.url"
}

API 将以 JSON 格式响应查询信息，并将其打印在响应体中，与此类似：

{
  "查询"：[
    {
      "callback_url"："https://your.callback.url"、
      {...}
      "created_at"："2019-10-01 00:00:01",
      "域"："com"、
      "id"："12345678900987654321",
      {...}
      "查询"："阿迪达斯"、
      "来源"："bing_search"、
      {...}
          "rel"："results"、
          "href"："http://data.oxylabs.io/v1/queries/12345678900987654321/results",
          "method"："GET"
        }
      ]
    },
    {
      "callback_url"："https://your.callback.url"、
      {...}
      "created_at"："2019-10-01 00:00:01",
      "域"："com"、
      "id"："12345678901234567890",
      {...}
      "查询"："NIKE"、
      "来源"："bing_search"、
      {...}
          "rel"："results"、
          "href"："http://data.oxylabs.io/v1/queries/12345678901234567890/results",
          "method"："GET"
        }
      ]
    },
    {
      "callback_url"："https://your.callback.url"、
      {...}
      "created_at"："2019-10-01 00:00:01",
      "域"："com"、
      "id"："01234567899876543210",
      {...}
      "查询"："reebok"、
      "来源"："bing_search"、
      {...}
          "rel"："results"、
          "href"："http://data.oxylabs.io/v1/queries/01234567899876543210/results",
          "method"："GET"
        }
      ]
    }
  ]
}

获取通知程序 IP 地址列表

您可能希望将向您发送回调信息的 IP 列入白名单，或为其他目的获取这些 IP 的列表。这可以通过 获取在这个端点上： https://data.oxylabs.io/v1/info/callbacker_ips.

curl --user user:pass1 'https://data.oxylabs.io/v1/info/callbacker_ips'

API 将返回向您的系统发出回调请求的 IP 列表：

{
    "ips"：[
        "x.x.x.x"、
        "y.y.y.y"
    ]
}

上传到存储器

默认情况下，RTC 任务结果存储在我们的数据库中。这意味着您需要查询我们的结果端点并自行检索内容。自定义存储功能允许您将结果存储在自己的云存储中。该功能的优势在于，您无需为了获取结果而发出额外请求，所有内容都会直接存储到您的存储桶中。

我们支持亚马逊 S3 和谷歌云存储。如果您想使用其他类型的存储，请联系您的客户经理，讨论功能交付时间表。

亚马逊 S3

要将作业结果上传到 Amazon S3 存储桶，请为我们的服务设置访问权限。为此，请访问 https://s3.console.aws.amazon.com/ > S3 > 存储 > 桶名称（如果没有，请新建） > 权限 > 桶策略

您可以在此找到水桶政策 JSON 或右侧的代码示例区。不要忘记在 您的邮筒名称.通过该策略，我们可以向您的邮筒写入内容，允许您访问上传的文件，并了解邮筒的位置。

谷歌云存储

要将作业结果上传到您的 Google Cloud Storage 存储桶，请为我们的服务设置特殊权限。为此，请使用 存储.对象.创建 权限并将其分配给 Oxylabs 服务帐户电子邮件 oxyserps-storage@oxyserps-storage.iam.gserviceaccount.com.

使用方法

要使用此功能，请在请求中指定两个附加参数。了解更多信息 这里.

上传路径如下 YOUR_BUCKET_NAME/job_ID.json.您可以在提交请求后从我们收到的回复正文中找到职位 ID。在 本例 工作编号为 12345678900987654321.

{
    "版本"："2012-10-17",
    "Id"："Policy1577442634787",
    "声明"：[
        {
            "Sid"："Stmt1577442633719"、
            "效果"："允许"、
            "校长"：{
                "AWS"："arn:aws:iam::324311890426:user/oxylabs.s3.uploader"
            },
            "Action"："s3:GetBucketLocation"、
            "资源"："arn:aws:s3:::YOUR_BUCKET_NAME" }.
        },
        {
            "Sid"："Stmt1577442633719"、
            "效果"："允许"、
            "校长"：{
                "AWS"："arn:aws:iam::324311890426:user/oxylabs.s3.uploader"
            },
            "Action"：[
                "s3:PutObject"、
                "s3:PutObjectAcl"。
            ],
            "资源"："arn:aws:s3:::YOUR_BUCKET_NAME/*"。
        }
    ]
}

实时

数据提交方式与推拉方式相同，但在实时情况下，我们将在连接打开时返回内容。您向我们发送查询，连接保持打开，我们检索内容并发送给您。处理的端点如下：

邮寄 https://realtime.oxylabs.io/v1/queries

开放连接的超时限制为 150 秒，因此在极少数负载较重的情况下，我们可能无法确保将数据发送给您。

您需要在 JSON 主体中将查询参数作为数据发布。详情请参阅示例。

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："bing_search", "domain"："com", "query"："adidas"}'

打开连接时将返回的响应体示例：

{
  "结果"：[
    {
      "content"："
      内容
      "
      "created_at"："2019-10-01 00:00:01",
      "更新时间"："2019-10-01 00:00:15",
      "id": null、
      "page"：1,
      "url"："https://www.bing.com/search?q=adidas"、
      "job_id"："12345678900987654321",
      "status_code"：200
    }
  ]
}

超级用户接口

如果您曾经使用过普通代理进行数据搜刮，那么集成 SuperAPI 传输方法将轻而易举。只需将我们的入口节点用作代理，使用实时爬虫凭据进行授权，并忽略证书即可。在 cURL 这是 -k 或 --不安全.您的数据将通过开放连接发送给您。

GET realtime.oxylabs.io:60000

超级用户接口只支持少量参数，因为它 仅适用于 直接 数据源 其中提供了完整的 URL。这些参数应作为标头发送。这是可接受的参数列表：

如果您在设置超级用户接口时需要帮助，请致电 support@oxylabs.io.

curl -k -x realtime.oxylabs.io:60000 -U user:pass1 -H "X-OxySERPs-User-Agent-Type: desktop_chrome"
-H "X-OxySERPs-Geo-Location：15550" "https://bing.com/search/?text=nike"

内容类型

实时爬虫返回 原始HTML.

数据来源

使用实时爬虫从 Bing 检索数据有两种方法。您可以通过以下方式向我们提供完整的 URL 直接或者您可以通过专门构建的数据源--"...... "来指定参数。 搜索.

如果您不确定选择哪种方式，请给我们留言 support@oxylabs.io 或联系您的客户经理。

直接

乒 源的目的是检索各种必应页面的直接 URL 内容。这意味着，您可以向我们提供所需必应页面的直接 URL，而无需发送多个参数。我们不会删除任何参数，也不会以任何其他方式更改您的 URL。

查询参数

在本例中，应用程序接口将检索必应搜索关键词 耐克 推拉法

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："bing", "url"："https://bing.com/search/?text=nike&"}'

以下是实时模式下的相同示例：

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："bing", "url"："https://bing.com/search/?text=nike&"}'

并通过超级用户接口（SuperAPI）：

curl -k -x realtime.oxylabs.io:60000 -U user:pass1 "https://bing.com/search/?text=nike&"

搜索

bing_search 该源代码旨在检索必应搜索结果（SERP）。

查询参数

API 向 bing.com 检索关键字从第 11 到第 20 的搜索结果页面 阿迪达斯.API 将向 your.callback.url 包含 URL，以便在数据检索任务成功完成后下载原始 HTML 输出。这就是推拉式：

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："bing_search", "domain"："com", "query"："adidas", "start_page"：11, "pages"：10, "callback_url"："https://your.callback.url"}'

以下是实时模式下的相同示例：

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："bing_search", "domain"："com", "query"："adidas", "start_page"：11, "pages"：10, "callback_url"："https://your.callback.url"}'

参数值

用户代理

下载完整列表 用户代理类型 JSON 中的值 这里.

[
  {
    "user_agent_type"："桌面"、
    "描述"："随机桌面浏览器用户代理"
  },
  {
    "user_agent_type"："desktop_firefox"、
    "描述"："最新版桌面火狐浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_chrome"、
    "description"："最新版桌面 Chrome 浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_opera"、
    "description"："最新版本桌面 Opera 的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_edge"、
    "description"："桌面边缘最新版本之一的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_safari"、
    "description"："桌面 Safari 最新版本之一的随机用户代理"。
  },
  {
    "user_agent_type"："mobile"、
    "description"："随机移动浏览器用户代理"
  },
  {
    "user_agent_type"："mobile_android"、
    "description"（描述）："最新版本安卓浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："mobile_ios"、
    "描述"："最新版本 iPhone 浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："平板电脑"、
    "描述"："随机平板电脑浏览器用户代理"
  },
  {
    "user_agent_type"："tablet_android"、
    "描述"："最新版本安卓平板电脑的随机用户代理"。
  },
  {
    "user_agent_type"："tablet_ios"、
    "description"："最新版本 iPad 平板电脑的随机用户代理"。
  }
]

账户状态

使用统计

您可以通过查询以下端点找到您的使用统计数据：

GET https://data.oxylabs.io/v1/stats

默认情况下，API 将返回所有时间的使用统计数据。添加 group_by=month 将返回月度统计数据，而 group_by=day 将返回每日数字。

该查询将返回所有时间的统计数据。您可以通过添加 group_by=day 或 group_by=month

curl --user user:pass1 'https://data.oxylabs.io/v1/stats'

输出示例

{
    "数据"：{
        "sources"：[
            {
                "realtime_results_count"："90",
                "results_count"："10",
                "标题"："bing
            },
            {
                "realtime_results_count"："19",
                "results_count"："87",
                "标题"："bing_search
            }
        ]
    },
    "元"：{
        "group_by": null
    }
}

限制

以下终端将提供您的每月承诺信息以及已使用的金额：

GET https://data.oxylabs.io/v1/stats/limits

curl --user user:pass1 'https://data.oxylabs.io/v1/stats/limits'

输出示例

{
    "monthly_requests_commitment"：4500000,
    "used_requests"：985000
}

响应代码

云存储上传响应代码：

参考资料

• https://docs.oxylabs.io/rtc/source/bing/index.html
• https://docs.oxylabs.io/rtc/index.html

免责声明 这部分内容主要来自商家。如果商家不希望在我的网站上显示，请 联系我们 删除您的内容。

你知道如何使用 OxyLabs Real-time Crawler for Baidu 吗？这是 OxyLabs 官方最全面的介绍。

快速入门

Real-Time Crawler 专为重型数据检索操作而设计。你可以使用 Real-Time Crawler 访问各种百度网页。它可以毫不费力地从搜索引擎中提取网页数据，不会出现任何延迟或错误。

用于百度的实时抓取器 基本 HTTP 身份验证 需要发送用户名和密码。

这是迄今为止开始使用百度实时爬虫的最快方法。您将发送一个查询 阿迪达斯 至 百度搜索 使用 实时 整合方法。不要忘记替换 用户名 和 密码 使用代理用户凭据。

curl --user "USERNAME:PASSWORD" 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json" -d '{"source"："baidu_search", "domain"："com", "query"："adidas"}'

如果您有任何本文件未涉及的问题，请联系您的客户经理或我们的支持人员，地址是 support@oxylabs.io.

整合方法

用于百度的实时爬虫支持三种集成方法，它们都有各自独特的优势：

• 推拉式.使用这种方法，现在需要与我们的端点保持活动连接，以检索数据。在发出请求后，我们的系统会在任务完成后自动 ping 用户服务器（请参阅 回调).这种方法可以节省计算资源，而且易于扩展。
• 实时.该方法要求用户与我们的端点保持活动连接，以便在任务完成时成功获取结果。这种方法可以在一个服务中实现，而推拉法则需要两个步骤。
• 超级用户接口.这种方法与实时方法非常相似，但用户可以使用 HTML Cralwer 作为代理，而不是向我们的端点发布数据。要检索数据，用户必须设置一个代理端点，并向所需的 URL 发送 GET 请求。必须使用标头添加其他参数。

我们推荐的数据提取方法是 推拉式.

推拉式

这是最简单、最可靠、最值得推荐的数据传输方法。在推拉式方案中，您向我们发送查询，我们向您返回工作 本我工作完成后，您可以使用 本我 中检索内容 /结果 端点。你可以自己检查作业完成状态，也可以设置一个能接受 POST 查询的简单监听器。

这样，一旦作业准备就绪，我们就会向您发送回调消息。在本例中，结果将自动 上传到您的 S3 存储桶 名为 您的邮筒名称.

单一查询

以下端点将处理对一个关键字或 URL 的单次查询。API 将返回一条确认信息，其中包含任务信息，包括任务 本我.您可以使用它来检查任务完成状态 本我或者，您也可以要求我们在扫描任务完成后 ping 您的回调端点，方法是添加 回调URL 在查询中。

邮寄 https://data.oxylabs.io/v1/queries

您需要在 JSON 主体中将查询参数作为数据发布。

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："baidu_search", "domain"："com", "query"："adidas", "callback_url"："https://your.callback.url"，"storage_type"："s3"，"storage_url"："your_bucket_name"}'

API 将以 JSON 格式响应查询信息，并将其打印在响应体中，与此类似：

{
  "callback_url"："https://your.callback.url"、
  "client_id"：5,
  "created_at"："2019-10-01 00:00:01",
  "域"："com"、
  "geo_location": null、
  "id"："12345678900987654321",
  "限制"：10,
  "locale": null、
  "pages"：1,
  "render": null、
  "query"："adidas"、
  "来源"："baidu_search"、
  "start_page"：1,
  "状态"："pending"、
  "storage_type"："s3",
  "storage_url"："YOUR_BUCKET_NAME/12345678900987654321.json",
  "subdomain"："www"、
  "updated_at"："2019-10-01 00:00:01",
  "user_agent_type"："desktop"、
  "_链接"：[
    {
      "rel"："self"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321",
      "method"："GET"
    },
    {
      "rel"："results"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321/results",
      "method"："GET"
    }
  ]
}

检查工作状态

如果您的查询有 回调URL一旦完成刮擦任务，我们将向您发送一条包含内容链接的信息。但是，如果没有 回调URL 在查询中，您需要自己检查任务状态。为此，您需要使用 href 根据 rel:自我 在您向我们的 API 提交查询后收到的响应信息中。它应该与下面的内容相似： http://data.oxylabs.io/v1/queries/12345678900987654321.

GET https://data.oxylabs.io/v1/queries/{id}

查询该链接将返回工作信息，包括其 地位.有 3 种可能 地位 价值观

curl --user user:pass1 'http://data.oxylabs.io/v1/queries/12345678900987654321'

API 将在响应正文中打印 JSON 格式的查询信息。请注意，任务 地位 改为 完成的.现在您可以通过查询 http://data.oxylabs.io/v1/queries/12345678900987654321/results.

您还可以看到任务已被 updated_at 2019-10-01 00:00:15 - 查询需要 14 秒才能完成。

{
  "client_id"：5,
  "created_at"："2019-10-01 00:00:01",
  "域"："com"、
  "geo_location": null、
  "id"："12345678900987654321",
  "限制"：10,
  "locale": null、
  "pages"：1,
  "render": null、
  "query"："adidas"、
  "来源"："baidu_search"、
  "start_page"：1,
  "状态"："done"、
  "subdomain"："www"、
  "updated_at"："2019-10-01 00:00:15",
  "user_agent_type"："desktop"、
  "_链接"：[
    {
      "rel"："self"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321",
      "method"："GET"
    },
    {
      "rel"："results"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321/results",
      "method"："GET"
    }
  ]
}

检索工作内容

通过检查作业状态或接收我们的回调，一旦知道作业已准备就绪，您就可以使用以下 URL 获取作业 href 根据 rel:成果 在我们的初始响应或回调信息中。看起来应该类似于下面这样： http://data.oxylabs.io/v1/queries/12345678900987654321/results.

GET https://data.oxylabs.io/v1/queries/{id}/results

通过设置 "任务状态"，可以自动检索结果，而无需定期检查任务状态。 回调 服务。用户需要指定运行回调服务的服务器的 IP 或域。当我们的系统完成一项任务时，它将向所提供的 IP 或域发送一条信息，回调服务将下载结果，如 回调实现示例.

curl --user user:pass1 'http://data.oxylabs.io/v1/queries/12345678900987654321/results'

API 将返回工作内容：

{
  "结果"：[
    {
      "content"："<!
        内容
      ",
      "created_at"："2019-10-01 00:00:01",
      "更新时间"："2019-10-01 00:00:15",
      "页"：1,
      "url"："https://www.baidu.com/search?q=adidas&hl=en&gl=US"、
      "job_id"："12345678900987654321",
      "status_code"：200
    }
  ]
}

回调

回调是一个 职位 我们会向您的机器发送请求，告知数据提取任务已完成，并提供下载刮擦内容的 URL。这意味着您不再需要 检查工作状态 手动操作。一旦数据到齐，我们会通知您，您现在需要做的就是 取回.

# 请查看 Python 和 PHP 代码示例。

回调输出示例

{
   "created_at":"2019-10-01 00:00:01",
   "updated_at":"2019-10-01 00:00:15",
   "locale":null、
   "client_id":163、
   "user_agent_type": "desktop"、
   "source": "baidu_search"、
   "页面":1、
   "子域": "www"、
   "status": "done"、
   "start_page":1、
   "render":null、
   "priority":0、
   "ttl":0、
   "origin": "api"、
   "persist":true、
   "id":"12345678900987654321",
   "callback_url": "http://your.callback.url/"、
   "query": "adidas"、
   "domain": "com"、
   "limit":10、
   "geo_location":null、
   {...}
   "_links":[
      {
         "href":"https://data.oxylabs.io/v1/queries/12345678900987654321",
         "method": "GET"、
         "rel": "self"
      },
      {
         "href":"https://data.oxylabs.io/v1/queries/12345678900987654321/results",
         "method": "GET"、
         "rel": "results" }
      }
   ],
}

批量查询

实时爬虫还支持执行多个关键字，每批最多可执行 1,000 个关键字。以下端点将向提取队列提交多个关键词。

邮寄 https://data.oxylabs.io/v1/queries/batch

您需要在 JSON 主体中将查询参数作为数据发布。

系统会将每个关键词作为一个单独请求处理。如果您提供了回调 URL，您将为每个关键字收到单独的调用。否则，我们的初始响应将包含工作 本我的所有关键字。例如，如果您发送了 50 个关键字，我们将返回 50 个唯一的职位。 本我s.

重要！ 询问 是唯一一个可以有多个值的参数。所有其他参数对于该批次查询都是一样的。

curl --user user:pass1 'https://data.oxylabs.io/v1/queries/batch' -H 'Content-Type: application/json' -d '@keywords.json
 -d'@keywords.json'（关键词

keywords.json 内容：

{
   "query":[
      "阿迪达斯"、
      "耐克"、
      "蕾博克"
   ],
   "来源"："baidu_search"、
   "域"："com"、
   "callback_url"："https://your.callback.url"
}

API 将以 JSON 格式响应查询信息，并将其打印在响应体中，与此类似：

{
  "查询"：[
    {
      "callback_url"："https://your.callback.url"、
      {...}
      "created_at"："2019-10-01 00:00:01",
      "域"："com"、
      "id"："12345678900987654321",
      {...}
      "查询"："阿迪达斯"、
      "来源"："baidu_search"、
      {...}
          "rel"："results"、
          "href"："http://data.oxylabs.io/v1/queries/12345678900987654321/results",
          "method"："GET"
        }
      ]
    },
    {
      "callback_url"："https://your.callback.url"、
      {...}
      "created_at"："2019-10-01 00:00:01",
      "域"："com"、
      "id"："12345678901234567890",
      {...}
      "查询"："NIKE"、
      "来源"："baidu_search"、
      {...}
          "rel"："results"、
          "href"："http://data.oxylabs.io/v1/queries/12345678901234567890/results",
          "method"："GET"
        }
      ]
    },
    {
      "callback_url"："https://your.callback.url"、
      {...}
      "created_at"："2019-10-01 00:00:01",
      "域"："com"、
      "id"："01234567899876543210",
      {...}
      "查询"："reebok"、
      "来源"："baidu_search"、
      {...}
          "rel"："results"、
          "href"："http://data.oxylabs.io/v1/queries/01234567899876543210/results",
          "method"："GET"
        }
      ]
    }
  ]
}

获取通知程序 IP 地址列表

您可能希望将向您发送回调信息的 IP 列入白名单，或为其他目的获取这些 IP 的列表。这可以通过 获取在这个端点上： https://data.oxylabs.io/v1/info/callbacker_ips.

curl --user user:pass1 'https://data.oxylabs.io/v1/info/callbacker_ips'

API 将返回向您的系统发出回调请求的 IP 列表：

{
    "ips"：[
        "x.x.x.x"、
        "y.y.y.y"
    ]
}

上传到存储器

默认情况下，RTC 任务结果存储在我们的数据库中。这意味着您需要查询我们的结果端点并自行检索内容。自定义存储功能允许您将结果存储在自己的云存储中。该功能的优势在于，您无需为了获取结果而发出额外请求，所有内容都会直接存储到您的存储桶中。

我们支持亚马逊 S3 和谷歌云存储。如果您想使用其他类型的存储，请联系您的客户经理，讨论功能交付时间表。

亚马逊 S3

要将作业结果上传到 Amazon S3 存储桶，请为我们的服务设置访问权限。为此，请访问 https://s3.console.aws.amazon.com/ > S3 > 存储 > 桶名称（如果没有，请新建） > 权限 > 桶策略

您可以在此找到水桶政策 JSON 或右侧的代码示例区。不要忘记在 您的邮筒名称.通过该策略，我们可以向您的邮筒写入内容，允许您访问上传的文件，并了解邮筒的位置。

谷歌云存储

要将作业结果上传到您的 Google Cloud Storage 存储桶，请为我们的服务设置特殊权限。为此，请使用 存储.对象.创建 权限并将其分配给 Oxylabs 服务帐户电子邮件 oxyserps-storage@oxyserps-storage.iam.gserviceaccount.com.

使用方法

要使用此功能，请在请求中指定两个附加参数。了解更多信息 这里.

上传路径如下 YOUR_BUCKET_NAME/job_ID.json.您可以在提交请求后从我们收到的回复正文中找到职位 ID。在 本例 工作编号为 12345678900987654321.

实时

数据提交方式与推拉方式相同，但在实时情况下，我们将在连接打开时返回内容。您向我们发送查询，连接保持打开，我们检索内容并发送给您。处理的端点如下：

邮寄 https://realtime.oxylabs.io/v1/queries

开放连接的超时限制为 150 秒，因此在极少数负载较重的情况下，我们可能无法确保将数据发送给您。

您需要在 JSON 主体中将查询参数作为数据发布。详情请参阅示例。

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："baidu_search", "domain"："com", "query"："adidas"}'

打开连接时将返回的响应体示例：

{
  "结果"：[
    {
      "content"："
      内容
      "
      "created_at"："2019-10-01 00:00:01",
      "更新时间"："2019-10-01 00:00:15",
      "id": null、
      "page"：1,
      "url"："https://www.baidu.com/search?q=adidas&hl=en&gl=US"、
      "job_id"："12345678900987654321",
      "status_code"：200
    }
  ]
}

超级用户接口

如果您曾经使用过普通代理进行数据搜刮，那么集成 SuperAPI 传输方法将轻而易举。只需将我们的入口节点用作代理，使用实时爬虫凭据进行授权，并忽略证书即可。在 cURL 这是 -k 或 --不安全.您的数据将通过开放连接发送给您。

GET realtime.oxylabs.io:60000

超级用户接口只支持少量参数，因为它 仅适用于 直接 数据源 其中提供了完整的 URL。这些参数应作为标头发送。这是可接受的参数列表：

如果您在设置超级用户接口时需要帮助，请致电 support@oxylabs.io.

curl -k -x realtime.oxylabs.io:60000 -U user:pass1 -H "X-OxySERPs-User-Agent-Type: desktop_chrome" "https://www.baidu.com/search?q=adidas"

数据来源

使用实时爬虫从百度检索数据有多种方法。您可以通过以下方式向我们提供完整的 URL 直接或通过专门构建的数据源指定参数，例如 搜索购物产品或图片。

如果您不确定选择哪种方式，请给我们留言 support@oxylabs.io 或联系您的客户经理。

直接

百度 源设计用于检索各种百度页面的直接 URL 内容。这意味着您可以向我们提供所需百度页面的直接 URL，而无需发送多个参数。我们不会剥离任何参数或以任何其他方式更改您的 URL。

查询参数

在本例中，应用程序接口将检索百度搜索关键字 阿迪达斯 推拉法

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："baidu", "url"："http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&ch=&tn=baidu&bar=&wd=adidas"}'

以下是实时模式下的相同示例：

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："baidu", "url"："http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&ch=&tn=baidu&bar=&wd=adidas"}'

并通过超级用户接口（SuperAPI）：

curl -k -x realtime.oxylabs.io:60000 -U user:pass1 "http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&ch=&tn=baidu&bar=&wd=adidas"

搜索

百度搜索 该源代码旨在检索 HTML 格式的百度搜索结果（SERP）。

查询参数

实时爬虫向 baidu.com 发出请求，检索关键词 adidas 从第 11 位到第 20 位的搜索结果页面。数据检索任务成功完成后，实时爬虫会将原始 HTML 页面输出的下载 URL 发布到 your.callback.url。

curl --user user:pass1 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："baidu_search", "domain"："com", "query"："adidas", "start_page"：11, "pages"：10, "callback_url"："https://your.callback.url"}'

以下是实时模式下的相同示例：

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
 -d '{"source"："baidu_search", "domain"："com", "query"："adidas", "start_page"：11, "pages"：10, "callback_url"："https://your.callback.url"}'

参数值

用户代理

下载完整列表 用户代理类型 JSON 中的值 这里.

[
  {
    "user_agent_type"："桌面"、
    "描述"："随机桌面浏览器用户代理"
  },
  {
    "user_agent_type"："desktop_firefox"、
    "描述"："最新版桌面火狐浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_chrome"、
    "description"："最新版桌面 Chrome 浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_opera"、
    "description"："最新版本桌面 Opera 的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_edge"、
    "description"："桌面边缘最新版本之一的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_safari"、
    "description"："桌面 Safari 最新版本之一的随机用户代理"。
  },
  {
    "user_agent_type"："mobile"、
    "description"："随机移动浏览器用户代理"
  },
  {
    "user_agent_type"："mobile_android"、
    "description"（描述）："最新版本安卓浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："mobile_ios"、
    "描述"："最新版本 iPhone 浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："平板电脑"、
    "描述"："随机平板电脑浏览器用户代理"
  },
  {
    "user_agent_type"："tablet_android"、
    "描述"："最新版本安卓平板电脑的随机用户代理"。
  },
  {
    "user_agent_type"："tablet_ios"、
    "description"："最新版本 iPad 平板电脑的随机用户代理"。
  }
]

账户状态

使用统计

您可以通过查询以下端点找到您的使用统计数据：

GET https://data.oxylabs.io/v1/stats

默认情况下，API 将返回所有时间的使用统计数据。添加 group_by=month 将返回月度统计数据，而 group_by=day 将返回每日数字。

该查询将返回所有时间的统计数据。您可以通过添加 group_by=day 或 group_by=month

curl --user user:pass1 'https://data.oxylabs.io/v1/stats'

输出示例

{
    "数据"：{
        "sources"：[
            {
                "realtime_results_count"："90",
                "results_count"："10",
                "标题"："百度"
            },
            {
                "realtime_results_count"："19",
                "results_count"："87",
                "标题"："baidu_search
            }
        ]
    },
    "元"：{
        "group_by": null
    }
}

限制

以下终端将提供您的每月承诺信息以及已使用的金额：

GET https://data.oxylabs.io/v1/stats/limits

curl --user user:pass1 'https://data.oxylabs.io/v1/stats/limits'

输出示例

{
    "monthly_requests_commitment"：4500000,
    "used_requests"：985000
}

响应代码

云存储上传响应代码：

参考资料

• https://docs.oxylabs.io/rtc/source/baidu/index.html
• https://docs.oxylabs.io/rtc/index.html

免责声明 这部分内容主要来自商家。如果商家不希望在我的网站上显示，请 联系我们 删除您的内容。

你知道如何使用 OxyLabs 实时网页爬虫吗？这是 OxyLabs 官方最全面的介绍。

快速入门

HTML Crawler API 可帮助您进行繁重的数据检索操作。您可以使用 HTML Crawler API 访问各种公共页面。它能毫不费力地提取网络数据，不会出现任何延迟或错误。

HTML 抓取程序应用程序接口使用 基本 HTTP 身份验证 需要发送用户名和密码。

这是迄今为止开始使用 HTML Crawler API 最快的方法。您将向 https://ip.oxylabs.io 使用 实时 整合方法。不要忘记替换 用户名 和 密码 使用代理用户凭据。

curl --user "USERNAME:PASSWORD" 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json" -d '{"source"："universal", "url"："https://ip.oxylabs.io"}'

如果您有任何本文件未涉及的问题，请联系您的客户经理或我们的支持人员，地址是 support@oxylabs.io.

推拉式

这是最简单、最可靠、最值得推荐的数据传输方法。在推拉式方案中，您向我们发送查询，我们向您返回工作 本我工作完成后，您可以使用 本我 中检索内容 /结果 端点。你可以自己检查作业完成状态，也可以设置一个能接受 POST 查询的简单监听器。

这样，一旦作业准备就绪，我们就会向您发送回调消息。在本例中，结果将自动 上传到您的 S3 存储桶 名为 您的邮筒名称.

单一查询

以下端点将处理对一个关键字或 URL 的单次查询。API 将返回一条确认信息，其中包含任务信息，包括任务 本我.您可以使用它来检查任务完成状态 本我或者，您也可以要求我们在扫描任务完成后 ping 您的回调端点，方法是添加 回调URL 在查询中。

邮寄 https://data.oxylabs.io/v1/queries

您需要在 JSON 主体中将查询参数作为数据发布。

curl --user user:pass1\
'https://data.oxylabs.io/v1/queries' \
-H "Content-Type: application/json"\
-d '{"source"："universal", "url"："https://stackoverflow.com/questions/tagged/python", "callback_url"："https://your.callback.url", "storage_type"："s3", "storage_url"："your_bucket_name"}'

API 将以 JSON 格式响应查询信息，并将其打印在响应体中，与此类似：

{
  "callback_url"："https://your.callback.url"、
  "client_id"：5,
  "created_at"："2019-10-01 00:00:01",
  "域"："com"、
  "geo_location": null、
  "id"："12345678900987654321",
  "限制"：10,
  "locale": null、
  "pages"：1,
  "parse": false、
  "render": null、
  "url"："https://stackoverflow.com/questions/tagged/python"、
  "源"："universal"、
  "start_page"：1,
  "状态"："pending"、
  "storage_type"："s3",
  "storage_url"："YOUR_BUCKET_NAME/12345678900987654321.json",
  "subdomain"："www"、
  "updated_at"："2019-10-01 00:00:01",
  "user_agent_type"："desktop"、
  "_链接"：[
    {
      "rel"："self"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321",
      "method"："GET"
    },
    {
      "rel"："results"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321/results",
      "method"："GET"
    }
  ]
}

检查工作状态

如果您的查询有 回调URL我们会在扫描任务完成后向您发送一条包含内容链接的信息。但是，如果没有 回调URL 在查询中，您需要自己检查任务状态。为此，您需要使用 href 根据 rel:自我 在您向我们的 API 提交查询后收到的响应信息中。它应该与下面的内容相似： http://data.oxylabs.io/v1/queries/12345678900987654321.

GET https://data.oxylabs.io/v1/queries/{id}

查询此链接将返回工作信息，包括其 地位.有三种可能 地位 价值观

curl --user user:pass1 'http://data.oxylabs.io/v1/queries/12345678900987654321'

API 将在响应体中打印 JSON 格式的查询信息。请注意，任务 地位 改为 完成的.现在您可以通过查询 http://data.oxylabs.io/v1/queries/12345678900987654321/results.

您还可以看到任务已被 updated_at 2019-10-01 00:00:15 - 查询需要 14 秒才能完成。

{
  "client_id"：5,
  "created_at"："2019-10-01 00:00:01",
  "域"："com"、
  "geo_location": null、
  "id"："12345678900987654321",
  "限制"：10,
  "locale": null、
  "pages"：1,
  "parse": false、
  "render": null、
  "url"："sofa"、
  "源"："universal"、
  "start_page"：1,
  "状态"："done"、
  "subdomain"："www"、
  "updated_at"："2019-10-01 00:00:15",
  "user_agent_type"："desktop"、
  "_链接"：[
    {
      "rel"："self"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321",
      "method"："GET"
    },
    {
      "rel"："results"、
      "href"："http://data.oxylabs.io/v1/queries/12345678900987654321/results",
      "method"："GET"
    }
  ]
}

检索工作内容

通过检查作业的状态，一旦知道可以检索作业，就可以使用 href 根据 rel:成果 在我们的初始响应中。它看起来应该与此类似： http://data.oxylabs.io/v1/queries/12345678900987654321/results.

GET https://data.oxylabs.io/v1/queries/{id}/results

通过设置 "任务状态"，可以自动检索结果，而无需定期检查任务状态。 回调 服务。用户需要指定运行回调服务的服务器的 IP 或域。当我们的系统完成一项任务时，它将向所提供的 IP 或域发送一条信息，回调服务将下载结果，如 回调实现示例.

curl --user user:pass1 'http://data.oxylabs.io/v1/queries/12345678900987654321/results'

API 将返回工作内容：

{
  "结果"：[
    {
      "content"："<!
        内容
      ",
      "created_at"："2019-10-01 00:00:01",
      "更新时间"："2019-10-01 00:00:15",
      "页"：1,
      "url"："https://stackoverflow.com/questions/tagged/python"、
      "job_id"："12345678900987654321",
      "status_code"：200
    }
  ]
}

回调

回调是一个 职位 我们会向您的机器发送请求，告知数据提取任务已完成，并提供下载刮擦内容的 URL。这意味着您不再需要 检查工作状态 手动操作。一旦数据到齐，我们会通知您，您现在需要做的就是 取回.

# 请查看 Python 和 PHP 代码示例。

回调输出示例

{
   "created_at":"2019-10-01 00:00:01",
   "updated_at":"2019-10-01 00:00:15",
   "locale":null、
   "client_id":163、
   "user_agent_type": "desktop"、
   "源": "universal"、
   "pages":1、
   "子域": "www"、
   "status": "done"、
   "start_page":1、
   "parse":0、
   "render":null、
   "priority":0、
   "ttl":0、
   "origin": "api"、
   "persist":true、
   "id":"12345678900987654321",
   "callback_url": "http://your.callback.url/"、
   "url": "https://stackoverflow.com/questions/tagged/python"、
   "domain": "de"、
   "limit":10、
   "geo_location":null、
   {...}
   "_links":[
      {
         "href":"https://data.oxylabs.io/v1/queries/12345678900987654321",
         "method": "GET"、
         "rel": "self"
      },
      {
         "href":"https://data.oxylabs.io/v1/queries/12345678900987654321/results",
         "method": "GET"、
         "rel": "results" }
      }
   ],
}

批量查询

HTML 抓取器 API 还支持执行多个关键词，每批最多可执行 1,000 个关键词。以下端点将向提取队列提交多个关键词。

邮寄 https://data.oxylabs.io/v1/queries/batch

您需要在 JSON 主体中将查询参数作为数据发布。

系统会将每个关键字作为一个单独请求来处理。如果您提供了回调 URL，则每个关键字都会收到一个单独的调用。否则，我们的初始响应将包含任务 本我的所有关键字。例如，如果您发送了 50 个关键字，我们将返回 50 个唯一的职位。 本我s.

重要！ 询问 是唯一一个可以有多个值的参数。所有其他参数对于该批次查询都是一样的。

curl --user user:pass1 'https://data.oxylabs.io/v1/queries/batch' -H 'Content-Type: application/json' \
 -d'@keywords.json'。

keywords.json 内容：

{
   "url":[
      "https://stackoverflow.com/questions/tagged/python"、
      "https://stackoverflow.com/questions/tagged/golang"、
      "https://stackoverflow.com/questions/tagged/php"
   ],
   "源"："通用"、
   "callback_url"："https://your.callback.url"
}

API 将以 JSON 格式响应查询信息，并将其打印在响应体中，与此类似：

{
  "查询"：[
    {
      "callback_url"："https://your.callback.url"、
      {...}
      "created_at"："2019-10-01 00:00:01",
      "域"："com"、
      "id"："12345678900987654321",
      {...}
      "url"："https://stackoverflow.com/questions/tagged/python"、
      "来源"："universal"、
      {...}
          "rel"："results"、
          "href"："http://data.oxylabs.io/v1/queries/12345678900987654321/results",
          "method"："GET"
        }
      ]
    },
    {
      "callback_url"："https://your.callback.url"、
      {...}
      "created_at"："2019-10-01 00:00:01",
      "域"："com"、
      "id"："12345678901234567890",
      {...}
      "url"："https://stackoverflow.com/questions/tagged/golang"、
      "来源"："universal"、
      {...}
          "rel"："results"、
          "href"："http://data.oxylabs.io/v1/queries/12345678901234567890/results",
          "method"："GET"
        }
      ]
    },
    {
      "callback_url"："https://your.callback.url"、
      {...}
      "created_at"："2019-10-01 00:00:01",
      "域"："com"、
      "id"："01234567899876543210",
      {...}
      "url"："https://stackoverflow.com/questions/tagged/php"、
      "来源"："universal"、
      {...}
          "rel"："results"、
          "href"："http://data.oxylabs.io/v1/queries/01234567899876543210/results",
          "method"："GET"
        }
      ]
    }
  ]
}

获取通知程序 IP 地址列表

您可能希望将向您发送回调信息的 IP 列入白名单，或为其他目的获取这些 IP 的列表。这可以通过 获取在这个端点上： https://data.oxylabs.io/v1/info/callbacker_ips.

curl --user user:pass1 'https://data.oxylabs.io/v1/info/callbacker_ips'

API 将返回向您的系统发出回调请求的 IP 列表：

{
    "ips"：[
        "x.x.x.x"、
        "y.y.y.y"
    ]
}

上传到存储器

默认情况下，RTC 任务结果存储在我们的数据库中。这意味着您需要查询我们的结果端点并自行检索内容。自定义存储功能允许您将结果存储在自己的云存储中。该功能的优势在于，您无需为了获取结果而发出额外请求，所有内容都会直接存储到您的存储桶中。

我们支持亚马逊 S3 和谷歌云存储。如果您想使用其他类型的存储，请联系您的客户经理，讨论功能交付时间表。

亚马逊 S3

要将作业结果上传到 Amazon S3 存储桶，请为我们的服务设置访问权限。为此，请访问 https://s3.console.aws.amazon.com/ > S3 > 存储 > 桶名称（如果没有，请新建） > 权限 > 桶策略

您可以在此找到水桶政策 JSON 或右侧的代码示例区。不要忘记在 您的邮筒名称.通过该策略，我们可以向您的邮筒写入内容，允许您访问上传的文件，并了解邮筒的位置。

谷歌云存储

要将作业结果上传到您的 Google Cloud Storage 存储桶，请为我们的服务设置特殊权限。为此，请使用 存储.对象.创建 权限并将其分配给 Oxylabs 服务帐户电子邮件 oxyserps-storage@oxyserps-storage.iam.gserviceaccount.com.

使用方法

要使用此功能，请在请求中指定两个附加参数。了解更多信息 这里.

上传路径如下 YOUR_BUCKET_NAME/job_ID.json.您可以在提交请求后从我们收到的回复正文中找到职位 ID。在 本例 工作编号为 12345678900987654321.

{
    "版本"："2012-10-17",
    "Id"："Policy1577442634787",
    "声明"：[
        {
            "Sid"："Stmt1577442633719"、
            "效果"："允许"、
            "校长"：{
                "AWS"："arn:aws:iam::324311890426:user/oxylabs.s3.uploader"
            },
            "Action"："s3:GetBucketLocation"、
            "资源"："arn:aws:s3:::YOUR_BUCKET_NAME" }.
        },
        {
            "Sid"："Stmt1577442633719"、
            "效果"："允许"、
            "校长"：{
                "AWS"："arn:aws:iam::324311890426:user/oxylabs.s3.uploader"
            },
            "Action"：[
                "s3:PutObject"、
                "s3:PutObjectAcl"。
            ],
            "资源"："arn:aws:s3:::YOUR_BUCKET_NAME/*"。
        }
    ]
}

实时

数据提交与推拉式方法相同，但使用实时方法时，我们将在连接打开时返回内容。您向我们发送一个查询，连接保持打开，我们检索内容并将其发送给您。处理此问题的端点如下：

邮寄 https://realtime.oxylabs.io/v1/queries

开放连接的超时限制为 100 秒。因此，在极少数负载较重的情况下，我们可能无法确保将数据发送给您。

您需要在 JSON 主体中将查询参数作为数据发布。详情请参阅示例。

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json" \
 -d '{"source"："universal", "url"："https://stackoverflow.com/questions/tagged/python"}'

打开连接时将返回的响应体示例：

{
  "结果"：[
    {
      "content"："
      内容
      "
      "created_at"："2019-10-01 00:00:01",
      "更新时间"："2019-10-01 00:00:15",
      "id": null、
      "page"：1,
      "url"："https://stackoverflow.com/questions/tagged/python"、
      "job_id"："12345678900987654321",
      "status_code"：200
    }
  ]
}

超级用户接口

如果您曾经使用过普通代理进行数据搜刮，那么集成 SuperAPI 传输方法将轻而易举。您只需将我们的入口节点用作代理，使用 HTML Crawler API 凭据进行授权，然后忽略证书即可。在 cURL 这是 -k 或 --不安全.您的数据将通过开放连接发送给您。

GET realtime.oxylabs.io:60000

超级用户接口只支持少量参数，因为它 仅适用于 直接 数据源 其中提供了完整的 URL。这些参数应作为标头发送。这是一份可接受的参数列表：

如果您在设置超级用户接口时需要帮助，请通过以下方式与我们联系 support@oxylabs.io.

curl -k \
-x realtime.oxylabs.io:60000\
-U user:pass1
-H "X-OxySERPs-User-Agent-Type: desktop_chrome" \
"https://stackoverflow.com/questions/tagged/python"

内容类型

HTML 抓取程序 API 返回 原始HTML.

下载图片

可以通过 HTML Crawler API 下载图像。如果通过 SuperAPI 下载，只需将输出保存到图片扩展名即可。例如

curl -k -x realtime.oxylabs.io:60000 -U user:pass1 "https://example.com/image.jpg" >> image.jpg

如果您使用 推拉式 或 实时 方法，您需要添加 content_encoding 参数的值为 base64.收到结果后，您需要解码来自 内容 转换成字节并保存为图像文件。右侧有一个 Python 示例。

数据来源

HTML Crawler API 接受 URL 以及其他参数，如 User-Agent 类型、代理位置等。请参阅此方法，我们将其称为 直接下文将对此进行说明。

HTML Crawler API 能够在刮擦时渲染 JavaScript。这样，您就能从网页中获取更多数据，并获得屏幕截图。

如果您对文件的任何部分有疑问，请致电我们 support@oxylabs.io 或联系您的客户经理。

直接

万有 源的目的是检索互联网上任何 URL 的内容。 职位-将 JSON 格式的参数发送到以下端点，将把指定的 URL 提交到提取队列。

查询参数

在本例中，应用程序接口将以推拉方式检索一个通用产品页面。所有可用参数都包含在内（尽管在同一请求中并非总是必要或兼容），以便让您了解如何格式化您的请求：

curl --user user:pass1
'https://data.oxylabs.io/v1/queries' \
-H "Content-Type: application/json"\
 -d '{"source": "universal", "url": "https://stackoverflow.com/questions/tagged/python", "user_agent_type": "mobile", "context":[{"key": "headers", "value":{"Accept-Language": "en-US", "Content-Type": "application/octet-stream", "Custom-Header": "custom header content"}},{"key": "cookies", "value":[{"key": "NID", "value"："1234567890"},{"key":"1P JAR","value":"0987654321"}]},{"key":"follow_redirects","value":true},{"key":"http_method","value":"post"},{"key":"content","value":"YmFzZTY0RW5jb2RlZFBPU1RCb2R5"},{"key":"successful_status_codes","value":[808,909]}]}

以下是实时模式下的相同示例：

curl --user user:pass1
'https://data.oxylabs.io/v1/queries' \
-H "Content-Type: application/json"\
-d '{"source"："universal", "url"："https://stackoverflow.com/questions/tagged/python", "user_agent_type"："mobile", "context"：{"key"："headers", "value": ["Accept-Language"："en-US"，"Content-Type"："application/octet-stream"，"Custom-Header"："自定义标题内容"]}，{"key"："cookies"，"value"：[{"key"："NID"，"值"："1234567890"}，{"key"："1P JAR"，"值"："0987654321"}，{"key"："follow_redirects", "value": true}, {"key"："http_method", "value"："post"}, {"key"："内容"，"值"："base64EncodedPOSTBody"}, {"key"："successful_status_codes", "value": [303, 808, 909]}]}]}'

并通过超级用户接口（SuperAPI）：

# GET 请求可以如下所示：
curl -k \
-x http://realtime.oxylabs.io:60000 \
-U user:pass1
"https://stackoverflow.com/questions/tagged/python" \
-H "X-OxySERPs-Session-Id：1234567890abcdef"\H
-H "X-OxySERPs-Geo-Location：India" （印度
-H "Accept-Language: en-US"\
-H "Content-Type: application/octet-stream" （内容类型：应用程序/八进制流
-H "Custom-Header: custom header content" （自定义头内容
-H "Cookie：nid=1234567890; 1p_jar=0987654321" \\H "X-Status-Code.
-H "X-Status-Code：303, 808, 909"

# POST请求具有相同的结构，但包含一个参数，指定它是一个POST请求：
curl -X POST \
-k \
-x http://realtime.oxylabs.io:60000 \
-U user:pass1 "https://stackoverflow.com/questions/tagged/python"\
-H "X-OxySERPs-Session-Id：1234567890abcdef" \
-H "X-OxySERPs-Geo-Location：India" （印度
-H "Custom-Header: custom header content" （自定义头内容
-H "Cookie：nid=1234567890; 1p_jar=0987654321" \\H "X-Status Code.
-H "X-Status-Code：303, 808, 909"

参数值

地理位置

支持的地理位置完整列表以 CSV 格式提供 这里.

"阿拉伯联合酋长国
"阿尔巴尼亚
"亚美尼亚
"安哥拉
"阿根廷
"澳大利亚
...
"乌拉圭
"乌兹别克斯坦
"委内瑞拉玻利瓦尔共和国
越南
"南非"
"津巴布韦

HTTP_Method

通用爬虫支持两种 HTTP(S) 方法： 获取 (默认）和 职位.

"GET"、
"POST

渲染

Universal Crawler 可渲染 Javascript 并返回渲染的 HTML 文档或 PNG 网页截图。

"html"、
"png

User_Agent_Type

下载完整列表 用户代理类型 JSON 中的值 这里.

[
  {
    "user_agent_type"："桌面"、
    "描述"："随机桌面浏览器用户代理"
  },
  {
    "user_agent_type"："desktop_firefox"、
    "描述"："最新版桌面火狐浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_chrome"、
    "description"："最新版桌面 Chrome 浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_opera"、
    "description"："最新版本桌面 Opera 的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_edge"、
    "description"："桌面边缘最新版本之一的随机用户代理"。
  },
  {
    "user_agent_type"："desktop_safari"、
    "description"："桌面 Safari 最新版本之一的随机用户代理"。
  },
  {
    "user_agent_type"："mobile"、
    "description"："随机移动浏览器用户代理"
  },
  {
    "user_agent_type"："mobile_android"、
    "description"（描述）："最新版本安卓浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："mobile_ios"、
    "描述"："最新版本 iPhone 浏览器的随机用户代理"。
  },
  {
    "user_agent_type"："平板电脑"、
    "描述"："随机平板电脑浏览器用户代理"
  },
  {
    "user_agent_type"："tablet_android"、
    "描述"："最新版本安卓平板电脑的随机用户代理"。
  },
  {
    "user_agent_type"："tablet_ios"、
    "description"："最新版本 iPad 平板电脑的随机用户代理"。
  }
]

账户状态

使用统计

您可以通过查询以下端点找到您的使用统计数据：

GET https://data.oxylabs.io/v1/stats

默认情况下，API 将返回所有时间的使用统计数据。添加 group_by=month 将返回月度统计数据，而 group_by=day 将返回每日数字。

此查询将返回所有时间的统计数据。您可以通过添加以下任一选项来查询每日和每月的使用量 group_by=day 或 group_by=month

curl --user user:pass1 'https://data.oxylabs.io/v1/stats'

输出示例

{
    "数据"：{
        "sources"：[
            {
                "realtime_results_count"："90",
                "results_count"："10",
                "标题"："通用"
            }
        ]
    },
    "元"：{
        "group_by": null
    }
}

限制

以下端点将提供您的每月承诺信息以及已使用的承诺额度：

GET https://data.oxylabs.io/v1/stats/limits

curl --user user:pass1 'https://data.oxylabs.io/v1/stats/limits'

输出示例

{
    "monthly_requests_commitment"：4500000,
    "used_requests"：985000
}

响应代码

参考资料

• https://docs.oxylabs.io/rtc/source/html-crawler-api/index.html
• https://docs.oxylabs.io/rtc/index.html

免责声明 这部分内容主要来自商家。如果商家不希望在我的网站上显示，请 联系我们 删除您的内容。

你知道如何使用 Oxylabs E-Commerce Scraper API 吗？这是 OxyLabs 官方最全面的介绍。

快速入门

Scraper API 可帮助您进行繁重的数据检索操作。您可以使用 Scraper API 访问各种公共页面。它能毫不费力地提取网络数据，不会出现任何延迟或错误。

Scraper API 使用 基本 HTTP 身份验证 需要发送用户名和密码。

这是迄今为止开始使用 Scraper API 最快的方法。您将向 https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html 使用 实时 美国的整合方法 地理位置 并检索已 经过解析的 数据。如果想获取页面 HTML 而不是解析后的数据，只需删除 解析 和 解析器类型 参数。不要忘记替换 用户名 和 密码 使用代理用户凭据。

整合方法

Scraper API 支持三种集成方法，它们都有各自独特的优势：

• 推拉式.使用这种方法，现在需要与我们的端点保持活动连接，以检索数据。在发出请求时，我们的系统能够在任务完成后自动 ping 用户服务器（见回调）。这种方法可以节省计算资源，而且易于扩展。
• 实时.该方法要求用户与我们的端点保持活动连接，以便在任务完成时成功获取结果。这种方法可以在一个服务中实现，而推拉法则需要两个步骤。
• 超级用户接口.这种方法与实时方法非常相似，但用户可以使用 HTML Cralwer 作为代理，而不是向我们的端点发布数据。要检索数据，用户必须设置一个代理端点，并向所需的 URL 发送 GET 请求。必须使用标头添加其他参数。

我们推荐的数据提取方法是 推拉式.

推拉式

这是最简单、最可靠、最值得推荐的数据传输方法。在推拉式方案中，您向我们发送查询，我们向您返回工作 本我工作完成后，您可以使用 本我 中检索内容 /结果 端点。您可以自己检查作业完成状态，也可以设置一个能接受 POST 查询的简单监听器。这样，一旦作业准备就绪，我们就会给你发送一条回调消息。在本例中，结果将自动 上传到您的 S3 存储桶 名为 您的邮筒名称.

单一查询

以下端点将处理对一个关键字或 URL 的单次查询。API 将返回一条确认信息，其中包含任务信息，包括任务 本我.您可以使用它来检查任务完成状态 本我或者，您也可以要求我们在扫描任务完成后 ping 您的回调端点，方法是添加 回调URL 在查询中。

邮寄 https://data.oxylabs.io/v1/queries

您需要在 JSON 主体中将查询参数作为数据发布。

curl --user user:pass1\
'https://data.oxylabs.io/v1/queries' \
-H "内容类型：应用程序/json" \
-d '{"源"："universal_ecommerce", "url"："https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html"，"callback_url"："https://your.callback.url"，"storage_type"："s3"，"storage_url"："your_bucket_name"}'

舶来品 要求
从 打印 舶来品 打印


# 结构有效载荷。
载荷 = {
    来源: universal_ecommerce,
    'url'（网址: 'https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html',
    回调URL: 'https://your.callback.url',
    存储类型: 's3',
    存储URL: your_bucket_name
}

# 获取响应。
回应 = 要求.要求(
    POST,
    'https://data.oxylabs.io/v1/queries',
    授权=(用户, pass1),
    json=载荷,
)

# 向 stdout 打印经过修饰的响应。
打印(回应.json())

<?php

$params = 矩阵(
    来源 => universal_ecommerce,
    'url'（网址 => 'https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html',
    回调URL => 'https://your.callback.url',
    存储类型 => 's3',
    存储URL => your_bucket_name
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://data.oxylabs.io/v1/queries");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, curlopt_postfields, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

$headers = 矩阵();
$headers[] = "内容类型：应用程序/json";
curl_setopt($ch, curlopt_httpheader, $headers);

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

目前不支持 HTTP 方法

API 将以 JSON 格式响应查询信息，并将其打印在响应体中，与此类似：

{
  "回调URL": "https://your.callback.url",
  "client_id": 5,
  "创建时间": "2019-10-01 00:00:01",
  "域": "com",
  "地理位置": 无效,
  "id": "12345678900987654321",
  "限制": 10,
  "locale": 无效,
  "页面": 1,
  "解析": 错误,
  "渲染": 无效,
  "url": "https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html",
  "源": "universal_ecommerce",
  "起始页": 1,
  "状态": "待定",
  "存储类型": "s3",
  "storage_url": "YOUR_BUCKET_NAME/12345678900987654321.json",
  "子域": "www",
  "更新时间": "2019-10-01 00:00:01",
  "user_agent_type": "桌面",
  "_链接": [
    {
      "rel": "自我",
      "href": "http://data.oxylabs.io/v1/queries/12345678900987654321",
      "方法": "GET"
    },
    {
      "rel": "结果",
      "href": "http://data.oxylabs.io/v1/queries/12345678900987654321/results",
      "方法": "GET"
    }
  ]
}

检查工作状态

如果您的查询有 回调URL我们会在扫描任务完成后向您发送一条包含内容链接的信息。但是，如果没有 回调URL 在查询中，您需要自己检查任务状态。为此，您需要使用 href 根据 rel:自我 在您向我们的 API 提交查询后收到的响应信息中。它应该与下面的内容相似： http://data.oxylabs.io/v1/queries/12345678900987654321.

GET https://data.oxylabs.io/v1/queries/{id}

查询此链接将返回工作信息，包括其 地位.有三种可能 地位 价值观

curl --user user:pass1 'http://data.oxylabs.io/v1/queries/12345678900987654321'

舶来品 要求
从 打印 舶来品 打印

# 从统计终点获取响应。
回应 = 要求.要求(
    方法=GET,
    网址='http://data.oxylabs.io/v1/queries/12345678900987654321',
    授权=(用户, pass1),
)

# 向 stdout 打印经过修饰的 JSON 响应。
打印(回应.json())

<?php

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "http://data.oxylabs.io/v1/queries/12345678900987654321");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, curlopt_customrequest, "GET");
curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

目前不支持 HTTP 方法

API 将在响应体中打印 JSON 格式的查询信息。请注意，任务 地位 改为 完成的.现在您可以通过查询 http://data.oxylabs.io/v1/queries/12345678900987654321/results.

您还可以看到任务已被 updated_at 2019-10-01 00:00:15 - 查询需要 14 秒才能完成。

{
  "client_id": 5,
  "创建时间": "2019-10-01 00:00:01",
  "域": "com",
  "地理位置": 无效,
  "id": "12345678900987654321",
  "限制": 10,
  "locale": 无效,
  "页面": 1,
  "解析": 错误,
  "渲染": 无效,
  "url": "沙发",
  "源": "universal_ecommerce",
  "起始页": 1,
  "状态": "完成",
  "子域": "www",
  "更新时间": "2019-10-01 00:00:15",
  "user_agent_type": "桌面",
  "_链接": [
    {
      "rel": "自我",
      "href": "http://data.oxylabs.io/v1/queries/12345678900987654321",
      "方法": "GET"
    },
    {
      "rel": "结果",
      "href": "http://data.oxylabs.io/v1/queries/12345678900987654321/results",
      "方法": "GET"
    }
  ]
}

检索工作内容

通过检查作业的状态，一旦知道可以检索作业，就可以使用 href 根据 rel:成果 在我们的初始响应中。它看起来应该与此类似： http://data.oxylabs.io/v1/queries/12345678900987654321/results.

GET https://data.oxylabs.io/v1/queries/{id}/results

通过设置回调服务，可以自动检索结果，而无需定期检查作业状态。用户需要指定运行回调服务的服务器的 IP 或域。当我们的系统完成一项作业时，它将向所提供的 IP 或域发送一条信息，回调服务将下载结果，如回调实现示例中所述。

curl --user user:pass1 'http://data.oxylabs.io/v1/queries/12345678900987654321/results'

舶来品 要求
从 打印 舶来品 打印

# 从统计终点获取响应。
回应 = 要求.要求(
    方法=GET,
    网址='http://data.oxylabs.io/v1/queries/12345678900987654321/results',
    授权=(用户, pass1),
)

# 将经过修饰的 JSON 响应打印到 stdout。
打印(回应.json())

<?php

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "http://data.oxylabs.io/v1/queries/12345678900987654321/results");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, curlopt_customrequest, "GET");
curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

目前不支持 HTTP 方法

API 将返回工作内容：

{
  "结果": [
    {
      "内容": "
        内容
      ",
      "创建时间": "2019-10-01 00:00:01",
      "更新时间": "2019-10-01 00:00:15",
      "页": 1,
      "url": "https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html",
      "job_id": "12345678900987654321",
      "状态代码": 200
    }
  ]
}

回调

回调是一个 职位 我们会向您的机器发送请求，告知数据提取任务已完成，并提供下载刮擦内容的 URL。这意味着您不再需要 检查工作状态 手动操作。一旦数据到齐，我们会通知您，您现在需要做的就是 取回.

# 请查看 Python 和 PHP 代码示例。

# 这是一个简单的 Sanic 网络服务器，通过 localhost:8080 监听回调路由。
# 它会将作业结果打印到 stdout。
舶来品 要求
从 打印 舶来品 打印
从 卫生 舶来品 萨尼奇, 回应


AUTH_TUPLE = (用户, pass1)

应用 = 萨尼奇()


# 定义 /job_listener 端点，接受 POST 请求。
@app.route(/job_listener, 方法=[POST])
异步 捍卫 工作监听器(要求):
    尝试:
        重新 = 要求.json
        链接 = 重新.获取(链接, [])
        对于 链接 于 链接:
            如果 链接[rel] == 结果:
                # Sanic 是异步的，但请求是同步的，以充分发挥
                # 利用 Sanic 的优势，使用 aiohttp。
                res_response = 要求.要求(
                    方法=GET,
                    网址=链接[href],
                    授权=AUTH_TUPLE,
                )
                打印(res_response.json())
                断裂
    除开 例外情况 作为 e:
        打印("监听器异常：{}".格式(e))
    返回 回应.json(地位=200, 机构={状态: 好的})


如果 姓名____ == '__main__'（__main__:
    应用.运行(东道主='0.0.0.0', 港=8080)

<?php
$stdout = fopen(php://stdout, 'w');

如果 (isset($_POST)) {
    $result = 数组合并($_POST, (矩阵) json_decode(file_get_contents(php://input)));

    $ch = curl_init();

    curl_setopt($ch, CURLOPT_URL, "https://data.oxylabs.io/v1/queries/".$result[id].结果);
    curl_setopt($ch, curlopt_returntransfer, 1);
    curl_setopt($ch, curlopt_customrequest, "GET");
    curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

    $result = curl_exec($ch);
    fwrite($stdout, $result);

    如果 (curl_errno($ch)) {
        回响 错误： . curl_error($ch);
    }
    curl_close ($ch);
}
?>

目前不支持 HTTP 方法

回调输出示例

{  
   "创建时间":"2019-10-01 00:00:01",
   "更新时间":"2019-10-01 00:00:15",
   "locale":无效,
   "client_id":163,
   "user_agent_type":"桌面",
   "源":"universal_ecommerce",
   "页面":1,
   "子域":"www",
   "状态":"完成",
   "起始页":1,
   "解析":0,
   "渲染":无效,
   "优先权":0,
   "ttl":0,
   "起源":"api",
   "坚持":真,
   "id":"12345678900987654321",
   "回调URL":"http://your.callback.url/",
   "url":"https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html",
   "域":"de",
   "限制":10,
   "地理位置":无效,
   {...}
   "_链接":[
      {  
         "href":"https://data.oxylabs.io/v1/queries/12345678900987654321",
         "方法":"GET",
         "rel":"自我"
      },
      {  
         "href":"https://data.oxylabs.io/v1/queries/12345678900987654321/results",
         "方法":"GET",
         "rel":"结果"
      }
   ],
}

批量查询

Scraper API 还接受每次查询多个关键词，每批最多可提取 1,000 个关键词。以下端点将向提取队列提交多个关键词。

邮寄 https://data.oxylabs.io/v1/queries/batch

您需要在 JSON 主体中将查询参数作为数据发布。

系统会将每个关键字作为一个单独请求来处理。如果您提供了回调 URL，则每个关键字都会收到一个单独的调用。否则，我们的初始响应将包含任务 本我的所有关键字。例如，如果您发送了 50 个关键字，我们将返回 50 个唯一的职位。 本我s.

重要！ 询问 是唯一一个可以有多个值的参数。所有其他参数对于该批次查询都是一样的。

curl --user user:pass1 'https://data.oxylabs.io/v1/queries/batch' -H 内容类型：应用程序/json \
 -d @keywords.json

舶来品 要求
舶来品 json
从 打印 舶来品 打印


# 从文件中获取有效载荷。
与 开(关键词.json, 'r') 作为 f:
    载荷 = json.载荷(f.阅读())

回应 = 要求.要求(
    POST,
    'https://data.oxylabs.io/v1/queries/batch',
    授权=(用户, pass1),
    json=载荷,
)

# 打印经过修饰的回复。
打印(回应.json())

<?php

$paramsFile = file_get_contents(真实路径("keywords.json"));
$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://data.oxylabs.io/v1/queries/batch");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, curlopt_postfields, $paramsFile);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

$headers = 矩阵();
$headers[] = "内容类型：应用程序/json";
curl_setopt($ch, curlopt_httpheader, $headers);

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

目前不支持 HTTP 方法

keywords.json 内容：

{  
   "url":[  
      "https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html",
      "https://books.toscrape.com/catalogue/tipping-the-velvet_999/index.html",
      "https://books.toscrape.com/catalogue/soumission_998/index.html"
   ],
   "源": "universal_ecommerce",
   "回调URL": "https://your.callback.url"
}

API 将以 JSON 格式响应查询信息，并将其打印在响应体中，与此类似：

{
  "查询": [
    {
      "回调URL": "https://your.callback.url",
      {...}
      "创建时间": "2019-10-01 00:00:01",
      "域": "com",
      "id": "12345678900987654321",
      {...}
      "url": "https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html",
      "源": "universal_ecommerce",
      {...}
          "rel": "结果",
          "href": "http://data.oxylabs.io/v1/queries/12345678900987654321/results",
          "方法": "GET"
        }
      ]
    },
    {
      "回调URL": "https://your.callback.url",
      {...}
      "创建时间": "2019-10-01 00:00:01",
      "域": "com",
      "id": "12345678901234567890",
      {...}
      "url": "https://books.toscrape.com/catalogue/tipping-the-velvet_999/index.html",
      "源": "universal_ecommerce",
      {...}
          "rel": "结果",
          "href": "http://data.oxylabs.io/v1/queries/12345678901234567890/results",
          "方法": "GET"
        }
      ]
    },
    {
      "回调URL": "https://your.callback.url",
      {...}
      "创建时间": "2019-10-01 00:00:01",
      "域": "com",
      "id": "01234567899876543210",
      {...}
      "url": "https://books.toscrape.com/catalogue/soumission_998/index.html",
      "源": "universal_ecommerce",
      {...}
          "rel": "结果",
          "href": "http://data.oxylabs.io/v1/queries/01234567899876543210/results",
          "方法": "GET"
        }
      ]
    }
  ]
}

获取通知程序 IP 地址列表

您可能希望将向您发送回调信息的 IP 列入白名单，或为其他目的获取这些 IP 的列表。这可以通过 获取在这个端点上： https://data.oxylabs.io/v1/info/callbacker_ips.

curl --user user:pass1 'https://data.oxylabs.io/v1/info/callbacker_ips'

舶来品 要求
从 打印 舶来品 打印

# 从回调 IP 端点获取响应。
回应 = 要求.要求(
    方法=GET,
    网址='https://data.oxylabs.io/v1/info/callbacker_ips',
    授权=(用户, pass1),
)

# 将经过修饰的 JSON 响应打印到 stdout。
打印(回应.json())

<?php

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://data.oxylabs.io/v1/info/callbacker_ips");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, curlopt_customrequest, "GET");
curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

目前不支持 HTTP 方法

API 将返回向您的系统发出回调请求的 IP 列表：

{
    "ips": [
        "x.x.x.x",
        "y.y.y.y"
    ]
}

上传到存储器

默认情况下，Ecommerce Spraper API 的作业结果存储在我们的数据库中。这意味着您需要查询我们的结果端点并自行检索内容。自定义存储功能允许您将结果存储在自己的云存储中。该功能的优点是您无需额外请求即可获取结果，所有内容都会直接存储到您的存储桶中。

目前，我们只支持 Amazon S3。如果您想使用其他类型的存储，请联系您的客户经理讨论时间安排。

要将作业结果上传到 Amazon S3 存储桶，需要设置特殊权限。为此，请转到 https://s3.console.aws.amazon.com/ > S3 > 存储 > 桶名称（如果没有，请新建） > 权限 > 桶策略

您可以在此找到水桶政策 JSON 或右侧的代码示例区。不要忘记更改 您的邮筒名称.该策略允许我们写入您的邮筒、为您上传文件并了解邮筒的位置。

要使用此功能，您需要在请求中指定两个附加参数。了解更多信息 这里.

上传路径如下 YOUR_BUCKET_NAME/job_ID.json.您可以在提交请求后从我们收到的回复正文中找到工作编号。在 本例 工作编号为 12345678900987654321.

{
    "版本": "2012-10-17",
    "Id": "Policy1577442634787",
    "声明": [
        {
            "希德": "Stmt1577442633719",
            "效果": "允许",
            "校长": {
                "AWS": "arn:aws:iam::324311890426:user/oxylabs.s3.uploader"
            },
            "行动": "s3:GetBucketLocation,
            "资源": "arn:aws:s3:::YOUR_BUCKET_NAME"
        },
        {
            "希德": "Stmt1577442633719",
            "效果": "允许",
            "校长": {
                "AWS": "arn:aws:iam::324311890426:user/oxylabs.s3.uploader"
            },
            "行动": [
                "s3:PutObject,
                "s3:PutObjectAcl"
            ],
            "资源": "arn:aws:s3:::YOUR_BUCKET_NAME/*"
        }
    ]
}

实时

数据提交与推拉式方法相同，但使用实时方法时，我们将在连接打开时返回内容。您向我们发送一个查询，连接保持打开，我们检索内容并将其发送给您。处理此问题的端点如下：

邮寄 https://realtime.oxylabs.io/v1/queries

开放连接的超时限制为 100 秒。因此，在极少数负载较重的情况下，我们可能无法确保将数据发送给您。

您需要在 JSON 主体中将查询参数作为数据发布。详情请参阅示例。

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "内容类型：应用程序/json" \
 -d '{"源"："universal_ecommerce", "url"："https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html"}'

舶来品 要求
从 打印 舶来品 打印


# 结构有效载荷。
载荷 = {
    来源: universal_ecommerce,
    'url'（网址: 'https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html',
}

# 获取响应。
回应 = 要求.要求(
    POST,
    'https://realtime.oxylabs.io/v1/queries',
    授权=(用户, pass1),
    json=载荷,
)

# 返回的不是包含任务状态和结果 url 的响应，而是
# JSON 响应结果。
打印(回应.json())

<?php

$params = 矩阵(
    来源 => universal_ecommerce,
    查询 => 沙发,
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, curlopt_postfields, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

$headers = 矩阵();
$headers[] = "内容类型：应用程序/json";
curl_setopt($ch, curlopt_httpheader, $headers);

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

# URL 必须编码以转义 `&` 和 `=` 字符。本示例中不需要。

https://realtime.oxylabs.io/v1/queries?source=universal_ecommerce&url=https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html&access_token=12345abcde

打开连接时将返回的响应体示例：

{
  "结果": [
    {
      "内容": "<html
      内容
      "
      "创建时间": "2019-10-01 00:00:01",
      "更新时间": "2019-10-01 00:00:15",
      "id": 无效,
      "页": 1,
      "url": "https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html",
      "job_id": "12345678900987654321",
      "状态代码": 200
    }
  ]
}

超级用户接口

如果您曾经使用过普通代理进行数据搜刮，那么集成 SuperAPI 传输方法将轻而易举。您只需将我们的入口节点用作代理，使用 Scraper API 凭据进行授权，然后忽略证书即可。在 cURL 这是 -k 或 --不安全.您的数据将通过开放连接发送给您。

GET realtime.oxylabs.io:60000

超级用户接口只支持少量参数，因为它 仅适用于 直接 数据源 其中提供了完整的 URL。这些参数应作为标头发送。这是一份可接受的参数列表：

如果您在设置超级用户接口时需要帮助，请通过以下方式与我们联系 support@oxylabs.io.

curl -k \
-x realtime.oxylabs.io:60000 \
-用户：pass1 \
-H "X-OxySERPs-User-Agent-Type: desktop_chrome" \
"https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html"

舶来品 要求
从 打印 舶来品 打印

# 定义代理口令。不要忘记在此处填写您的真实用户和密码。
代理 = {
  http: 'http://user:pass1@realtime.oxylabs.io:60000',
  https: 'https://user:pass1@realtime.oxylabs.io:60000',
}

回应 = 要求.要求(
    GET,
    'https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html',
    授权=(用户, pass1),
    核对=假的,  # 或接受我们的证书。
    代理=代理,
)

# 将结果页打印到 stdout
打印(回应.文本)

# 将返回的 HTML 保存为 result.html 文件
与 开(结果.html, 'w') 作为 f:
    f.写道(回应.文本)

<?php
$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, CURLOPT_PROXY, realtime.oxylabs.io:60000);
curl_setopt($ch, curlopt_proxyuserpwd, "用户" . ":" . "pass1");
curl_setopt($ch, curlopt_ssl_verifypeer, 错误);
curl_setopt($ch, curlopt_ssl_verifyhost, 错误);

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>