如何使用 Oxylabs Scraper API [第 1 部分]：Oxylabs 电子商务 Scraper API

curl --user user:pass1\
'https://data.oxylabs.io/v1/queries' \
-H "内容类型：应用程序/json" \
-d '{"源"："universal_ecommerce", "url"："https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html"，"callback_url"："https://your.callback.url"，"storage_type"："s3"，"storage_url"："your_bucket_name"}'

舶来品 要求
从 打印 舶来品 打印


# 结构有效载荷。
载荷 = {
    来源: universal_ecommerce,
    'url'（网址: 'https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html',
    回调URL: 'https://your.callback.url',
    存储类型: 's3',
    存储URL: your_bucket_name
}

# 获取响应。
回应 = 要求.要求(
    POST,
    'https://data.oxylabs.io/v1/queries',
    授权=(用户, pass1),
    json=载荷,
)

# 向 stdout 打印经过修饰的响应。
打印(回应.json())

<?php

$params = 矩阵(
    来源 => universal_ecommerce,
    'url'（网址 => 'https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html',
    回调URL => 'https://your.callback.url',
    存储类型 => 's3',
    存储URL => your_bucket_name
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://data.oxylabs.io/v1/queries");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, curlopt_postfields, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

$headers = 矩阵();
$headers[] = "内容类型：应用程序/json";
curl_setopt($ch, curlopt_httpheader, $headers);

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

目前不支持 HTTP 方法

curl --user user:pass1 'http://data.oxylabs.io/v1/queries/12345678900987654321'

舶来品 要求
从 打印 舶来品 打印

# 从统计终点获取响应。
回应 = 要求.要求(
    方法=GET,
    网址='http://data.oxylabs.io/v1/queries/12345678900987654321',
    授权=(用户, pass1),
)

# 向 stdout 打印经过修饰的 JSON 响应。
打印(回应.json())

<?php

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "http://data.oxylabs.io/v1/queries/12345678900987654321");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, curlopt_customrequest, "GET");
curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

目前不支持 HTTP 方法

curl --user user:pass1 'http://data.oxylabs.io/v1/queries/12345678900987654321/results'

舶来品 要求
从 打印 舶来品 打印

# 从统计终点获取响应。
回应 = 要求.要求(
    方法=GET,
    网址='http://data.oxylabs.io/v1/queries/12345678900987654321/results',
    授权=(用户, pass1),
)

# 将经过修饰的 JSON 响应打印到 stdout。
打印(回应.json())

<?php

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "http://data.oxylabs.io/v1/queries/12345678900987654321/results");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, curlopt_customrequest, "GET");
curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

目前不支持 HTTP 方法

# 请查看 Python 和 PHP 代码示例。

# 这是一个简单的 Sanic 网络服务器，通过 localhost:8080 监听回调路由。
# 它会将作业结果打印到 stdout。
舶来品 要求
从 打印 舶来品 打印
从 卫生 舶来品 萨尼奇, 回应


AUTH_TUPLE = (用户, pass1)

应用 = 萨尼奇()


# 定义 /job_listener 端点，接受 POST 请求。
@app.route(/job_listener, 方法=[POST])
异步 捍卫 工作监听器(要求):
    尝试:
        重新 = 要求.json
        链接 = 重新.获取(链接, [])
        对于 链接 于 链接:
            如果 链接[rel] == 结果:
                # Sanic 是异步的，但请求是同步的，以充分发挥
                # 利用 Sanic 的优势，使用 aiohttp。
                res_response = 要求.要求(
                    方法=GET,
                    网址=链接[href],
                    授权=AUTH_TUPLE,
                )
                打印(res_response.json())
                断裂
    除开 例外情况 作为 e:
        打印("监听器异常：{}".格式(e))
    返回 回应.json(地位=200, 机构={状态: 好的})


如果 姓名____ == '__main__'（__main__:
    应用.运行(东道主='0.0.0.0', 港=8080)

<?php
$stdout = fopen(php://stdout, 'w');

如果 (isset($_POST)) {
    $result = 数组合并($_POST, (矩阵) json_decode(file_get_contents(php://input)));

    $ch = curl_init();

    curl_setopt($ch, CURLOPT_URL, "https://data.oxylabs.io/v1/queries/".$result[id].结果);
    curl_setopt($ch, curlopt_returntransfer, 1);
    curl_setopt($ch, curlopt_customrequest, "GET");
    curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

    $result = curl_exec($ch);
    fwrite($stdout, $result);

    如果 (curl_errno($ch)) {
        回响 错误： . curl_error($ch);
    }
    curl_close ($ch);
}
?>

目前不支持 HTTP 方法

curl --user user:pass1 'https://data.oxylabs.io/v1/queries/batch' -H 内容类型：应用程序/json \
 -d @keywords.json

舶来品 要求
舶来品 json
从 打印 舶来品 打印


# 从文件中获取有效载荷。
与 开(关键词.json, 'r') 作为 f:
    载荷 = json.载荷(f.阅读())

回应 = 要求.要求(
    POST,
    'https://data.oxylabs.io/v1/queries/batch',
    授权=(用户, pass1),
    json=载荷,
)

# 打印经过修饰的回复。
打印(回应.json())

<?php

$paramsFile = file_get_contents(真实路径("keywords.json"));
$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://data.oxylabs.io/v1/queries/batch");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, curlopt_postfields, $paramsFile);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

$headers = 矩阵();
$headers[] = "内容类型：应用程序/json";
curl_setopt($ch, curlopt_httpheader, $headers);

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

目前不支持 HTTP 方法

curl --user user:pass1 'https://data.oxylabs.io/v1/info/callbacker_ips'

舶来品 要求
从 打印 舶来品 打印

# 从回调 IP 端点获取响应。
回应 = 要求.要求(
    方法=GET,
    网址='https://data.oxylabs.io/v1/info/callbacker_ips',
    授权=(用户, pass1),
)

# 将经过修饰的 JSON 响应打印到 stdout。
打印(回应.json())

<?php

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://data.oxylabs.io/v1/info/callbacker_ips");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, curlopt_customrequest, "GET");
curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

目前不支持 HTTP 方法

curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "内容类型：应用程序/json" \
 -d '{"源"："universal_ecommerce", "url"："https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html"}'

舶来品 要求
从 打印 舶来品 打印


# 结构有效载荷。
载荷 = {
    来源: universal_ecommerce,
    'url'（网址: 'https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html',
}

# 获取响应。
回应 = 要求.要求(
    POST,
    'https://realtime.oxylabs.io/v1/queries',
    授权=(用户, pass1),
    json=载荷,
)

# 返回的不是包含任务状态和结果 url 的响应，而是
# JSON 响应结果。
打印(回应.json())

<?php

$params = 矩阵(
    来源 => universal_ecommerce,
    查询 => 沙发,
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, curlopt_postfields, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

$headers = 矩阵();
$headers[] = "内容类型：应用程序/json";
curl_setopt($ch, curlopt_httpheader, $headers);

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

# URL 必须编码以转义 `&` 和 `=` 字符。本示例中不需要。

https://realtime.oxylabs.io/v1/queries?source=universal_ecommerce&url=https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html&access_token=12345abcde

curl -k \
-x realtime.oxylabs.io:60000 \
-用户：pass1 \
-H "X-OxySERPs-User-Agent-Type: desktop_chrome" \
"https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html"

舶来品 要求
从 打印 舶来品 打印

# 定义代理口令。不要忘记在此处填写您的真实用户和密码。
代理 = {
  http: 'http://user:[email protected]:60000',
  https: 'https://user:[email protected]:60000',
}

回应 = 要求.要求(
    GET,
    'https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html',
    授权=(用户, pass1),
    核对=假的,  # 或接受我们的证书。
    代理=代理,
)

# 将结果页打印到 stdout
打印(回应.文本)

# 将返回的 HTML 保存为 result.html 文件
与 开(结果.html, 'w') 作为 f:
    f.写道(回应.文本)

<?php
$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, CURLOPT_PROXY, realtime.oxylabs.io:60000);
curl_setopt($ch, curlopt_proxyuserpwd, "用户" . ":" . "pass1");
curl_setopt($ch, curlopt_ssl_verifypeer, 错误);
curl_setopt($ch, curlopt_ssl_verifyhost, 错误);

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

超级用户接口不支持 HTTP 方法

curl --user user:pass1 \
'https://data.oxylabs.io/v1/queries' \
-H "内容类型：应用程序/json" \
 -d '{"源"："universal_ecommerce", "url"："https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html", "user_agent_type"："mobile", "render"："html"、
 "上下文"：{"key"："headers", "value": ["Accept-Language"："en-US", "Content-Type"："application/octet-stream", "Custom-Header"："自定义标题内容"]}，{"key"："cookies"，"value"：[{"key"："NID"，"值"："1234567890"}，{"key"："1P JAR"，"值"："0987654321"}，{"key"："follow_redirects", "value": true}, {"key"："http_method", "value"："get"}, {"key"："内容"，"值"："base64EncodedPOSTBody"}, {"key"："successful_status_codes", "value": [303, 808, 909]}]}]}'

舶来品 要求
从 打印 舶来品 打印


# 结构有效载荷。
载荷 = {
    来源: universal_ecommerce,
    'url'（网址: 'https://www.etsy.com/listing/399423455/big-glass-house-planter-handmade-glass?ref=hp_prn&frs=1',
    用户代理类型: 桌面,
    地理位置: 美国,
    解析: 真,
    解析器类型: "电子商务产品",
    上下文: [
        {
          钥匙: session_id,
          价值: 1234567890abcdef
        }
        {
          钥匙: 标题, 价值: 
            {
             接受语言: en-US,
             内容类型: 应用程序/八字节流,
             自定义标题: 自定义标题内容
            }
        },
        {
          钥匙: 饼干,
          价值: [{
              钥匙: NID,
             价值: '1234567890'
           },
           {
              钥匙: 1P_JAR,
             价值: '0987654321'
           }
         ]
        },
        {
          钥匙: follow_redirects,
          价值: 真
        },
        {
          钥匙: 成功状态代码,
          价值: [303, 808, 909]
        },
        {
          钥匙: http_method,
          价值: 获取
        }
        {
          钥匙: 内容
          价值: base64EncodedPOSTBody
        }
    ],
    回调URL: 'https://your.callback.url',
}

# 获取响应。
回应 = 要求.要求(
    POST,
    'https://data.oxylabs.io/v1/queries',
    授权=(用户, pass1),
    json=载荷,
)

# 向 stdout 打印经过修饰的响应。
打印(回应.json())

<?php

$params = [
    来源 => universal_ecommerce,
    'url'（网址 => 'https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html',
    上下文 => [
        [
            钥匙 => session_id,
            价值 => 1234567890abcdef
        ],
        [
            钥匙 => 标题,
            价值 => [
                接受语言 => en-US,
                内容类型 => 应用程序/八字节流,
                自定义标题 => 自定义标题内容
            ],
        ],
        [
            钥匙 => 饼干,
            价值 => [
                [钥匙 => NID, 价值 => '1234567890'],
                [钥匙 => 1P_JAR, 价值 => '0987654321']
            ]
        ],
        [
            钥匙 => follow_redirects,
            价值 => 真实
        ],
        [
            钥匙 => 成功状态代码,
            价值 => [303, 808, 909]
        ],
        [
            钥匙 => http_method,
            价值 => 获取
        ],
        [
            钥匙 => 内容,
            价值 => base64EncodedPOSTBody
        ]
    ]
];

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://data.oxylabs.io/v1/queries");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, curlopt_postfields, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

$headers = 矩阵();
$headers[] = "内容类型：应用程序/json";
curl_setopt($ch, curlopt_httpheader, $headers);

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

HTTP 方法目前不支持 Push-Pull

curl --user user:pass1 \
'https://data.oxylabs.io/v1/queries' \
-H "内容类型：应用程序/json" \
-d '{"源"："universal_ecommerce", "url"："https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html", "user_agent_type"："mobile", "context"：{"key"："headers"（标题），"value"（值）：["Accept-Language"（接受语言）："en-US"，"Content-Type"："application/octet-stream"，"Custom-Header"："自定义标题内容"]}，{"key"："cookies"，"value"：[{"key"："NID"，"值"："1234567890"}，{"key"："1P JAR"，"值"："0987654321"}，{"key"："follow_redirects", "value": true}, {"key"："http_method", "value"："get"}, {"key"："内容"，"值"："base64EncodedPOSTBody"}, {"key"："successful_status_codes", "value": [303, 808, 909]}]}]}'

舶来品 要求
从 打印 舶来品 打印

# 结构有效载荷。
载荷 = {
    来源: universal_ecommerce,
    'url'（网址: 'https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html',
    用户代理类型: 移动,
    地理位置: 美国,
    上下文: [
        {
          钥匙: session_id,
          价值: 1234567890abcdef
        }
        {
          钥匙: 标题, 价值: 
            {
             接受语言: en-US,
             内容类型: 应用程序/八字节流,
             自定义标题: 自定义标题内容
            }
        },
        {
          钥匙: 饼干,
          价值: [{
              钥匙: NID,
             价值: '1234567890'
           },
           {
              钥匙: 1P_JAR,
             价值: '0987654321'
           }
         ]
        },
        {
          钥匙: follow_redirects,
          价值: 真
        },
        {
          钥匙: 成功状态代码,
          价值: [303, 808, 909]
        },
        {
          钥匙: http_method,
          价值: 获取
        }
        {
          钥匙: 内容
          价值: base64EncodedPOSTBody
        }
    ],
}

# 获取响应。
回应 = 要求.要求(
    POST,
    'https://realtime.oxylabs.io/v1/queries',
    授权=(用户, pass1),
    json=载荷,
)

# 返回的不是包含任务状态和结果 url 的响应，而是
# JSON 响应结果。
打印(回应.json())

<?php

$params = [
    来源 => universal_ecommerce,
    'url'（网址 => 'https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html',
    上下文 => [
        [
            钥匙 => session_id,
            价值 => 1234567890abcdef
        ],
        [
            钥匙 => 标题,
            价值 => [
                接受语言 => en-US,
                内容类型 => 应用程序/八字节流,
                自定义标题 => 自定义标题内容
            ],
        ],
        [
            钥匙 => 饼干,
            价值 => [
                [钥匙 => NID, 价值 => '1234567890'],
                [钥匙 => 1P_JAR, 价值 => '0987654321']
            ]
        ],
        [
            钥匙 => follow_redirects,
            价值 => 真实
        ],
        [
            钥匙 => 成功状态代码,
            价值 => [303, 808, 909]
        ],
        [
            钥匙 => http_method,
            价值 => 获取
        ],
        [
            钥匙 => 内容,
            价值 => base64EncodedPOSTBody
        ]
    ]
];

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://data.oxylabs.io/v1/queries");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, curlopt_postfields, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

$headers = 矩阵();
$headers[] = "内容类型：应用程序/json";
curl_setopt($ch, curlopt_httpheader, $headers);

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

# The whole string you submit has to be URL-encoded.

https://realtime.oxylabs.io/v1/queries?source=universal_ecommerce&url=https%3A%2F%2Fstackoverflow.com%2Fquestions%2Ftagged%2Fpython&access_token=12345abcde

# GET 请求可以如下所示：
curl -k \
-x http://realtime.oxylabs.io:60000 \
-用户：pass1 \
"https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html" \
-H "X-OxySERPs-Session-Id：1234567890abcdef" \
-H "X-OxySERPs-地理位置：印度" \
-H "接受语言：en-US" \
-H "内容类型：应用程序/八字节流 \
-H "自定义标题：自定义标题内容" \
-H "Cookie：NID=1234567890; 1P_JAR=0987654321" \
-H "X-Status-Code：303, 808, 909"

# POST 请求具有相同的结构，但包含一个指定为 POST 请求的参数：
curl -X POST \
-k \
-x http://realtime.oxylabs.io:60000 \
-用户：pass1 "https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html" \
-H "X-OxySERPs-Session-Id：1234567890abcdef" \
-H "X-OxySERPs-地理位置：印度" \
-H "自定义标题：自定义标题内容" \
-H "Cookie：NID=1234567890; 1P_JAR=0987654321" \
-H "X-Status-Code：303, 808, 909"

舶来品 要求
从 打印 舶来品 打印

# 定义代理口令。不要忘记在此处填写您的真实用户和密码。
代理 = {
  http: 'http://user:[email protected]:60000',
  https: 'https://user:[email protected]:60000',
}

回应 = 要求.要求(
    GET,
    'https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html',
    授权=(用户, pass1),
    核对=假的,  # 或接受我们的证书。
    代理=代理,
)

# 将结果页打印到 stdout
打印(回应.文本)

# 将返回的 HTML 保存为 result.html 文件
与 开(结果.html, 'w') 作为 f:
    f.写道(回应.文本)

<?php
$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, CURLOPT_PROXY, realtime.oxylabs.io:60000);
curl_setopt($ch, curlopt_proxyuserpwd, "用户" . ":" . "pass1");
curl_setopt($ch, curlopt_ssl_verifypeer, 错误);
curl_setopt($ch, curlopt_ssl_verifyhost, 错误);

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

超级用户接口不支持 HTTP 方法

curl --user user:pass1 'https://data.oxylabs.io/v2/stats'

舶来品 要求
从 打印 舶来品 打印

# 从统计终端获取响应。
回应 = 要求.要求(
    方法=GET,
    网址='https://data.oxylabs.io/v2/stats',
    授权=(用户, pass1),
)

# 向 stdout 打印经过修饰的 JSON 响应。
打印(回应.json())

<?php

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://data.oxylabs.io/v2/stats");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, curlopt_customrequest, "GET");
curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>

curl --user user:pass1 'https://data.oxylabs.io/v2/stats/limits'

舶来品 要求
从 打印 舶来品 打印

# 从统计终端获取响应。
回应 = 要求.要求(
    方法=GET,
    网址='https://data.oxylabs.io/v2/stats/limits',
    授权=(用户, pass1),
)

# 向 stdout 打印经过修饰的 JSON 响应。
打印(回应.json())

<?php

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://data.oxylabs.io/v2/stats/limits");
curl_setopt($ch, curlopt_returntransfer, 1);
curl_setopt($ch, curlopt_customrequest, "GET");
curl_setopt($ch, curlopt_userpwd, "用户" . ":" . "pass1");

$result = curl_exec($ch);
回响 $result;

如果 (curl_errno($ch)) {
    回响 错误： . curl_error($ch);
}
curl_close ($ch);
?>