スクレイピングで、情報を取得

Question

前提・実現したいこと

[実現したいこと]
・amazonの商品を取得したい。

該当のソースコード

test.js

const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch({
headless: false,
slowMo: 500
})
const page = await browser.newPage()
await page.goto('https://www.amazon.co.jp/')
await browser.close(item)
})()

Answer 1

こんにちは、
サンプルのコードを載せておきます。

const puppeteer = require("puppeteer");

(async () => {
    const browser = await puppeteer.launch({
        headless: false, // 動作確認するためheadlessモードにしない
        slowMo: 500, // 動作確認しやすいようにpuppeteerの操作を遅延させる
    });
    const page = await browser.newPage();

    //生活家電のページへ行きます。
    await page.goto("https://www.amazon.co.jp/%E7%94%9F%E6%B4%BB%E5%AE%B6%E9%9B%BB/b?node=124048011", {
        waitUntil: "networkidle2",
    });

    //セレクターで指定したノードが表示されるまで待ちます。
    await page.waitFor(".a-section.octopus-best-seller-card");

    //カテゴリーのリンクを取得します。（空調・季節家電、キッチン家電など）
    let category_urls = await page.evaluate((selector) => {
        let urls = [];
        document.querySelectorAll(selector).forEach((node, i) => {
            urls.push(node.href);
        });
        return urls;
    }, "a.octopus-pc-category-card-v2-category-link");
    console.log(category_urls);

    //上で取得したカテゴリーのURLの中から一つを選びます。
    let category_url = Math.floor(Math.random() * category_urls.length);
    category_url = category_urls[category_url];
    console.log(category_url);

    //カテゴリーのIDを取得
    let category_id = category_url.replace(/^.*node=/i, "").replace(/&.*/, "");
    console.log(category_id);

    //アマゾンおすすめ商品順
    let page_url = "https://www.amazon.co.jp/s?rh=n:" + category_id + "&s=featured-rank";

    //アマゾンおすすめ商品のページへ行きます。
    await page.goto(page_url, {
        waitUntil: "networkidle2",
    });

    //セレクターで指定したノードが表示されるまで待ちます。
    await page.waitFor("#search + *");

    //ページから商品の情報を取得します。
    let items = await page.evaluate((selector) => {
        let data = [];
        document.querySelectorAll(selector).forEach((node, i) => {
            let obj = {};
            //商品のタイトルを取得
            let title = node.querySelector("a.a-text-normal span.a-text-normal");
            title = title.textContent.trim();
            obj.title = title;

            //商品の価格を取得
            let price = node.querySelector("span.a-price-whole") || node.querySelector("span.a-color-price");
            price = (price && price.textContent.trim()) || "";
            obj.price = price;

            //配列にタイトル、価格のデータを入れたオブジェクトを追加
            data.push(obj);
        });
        return data;
    }, "div.s-result-list div[data-asin][data-uuid]");

    //itemsは配列でitems[0].titleでタイトル、items[0].priceで値段を取得できます。
    console.log(items);

    //forEachでまわして何かしらしてください。
    items.forEach((item) => {
        let title = item.title;
        let price = item.price;
    });

    //ブラウザを閉じる
    await browser.close();
})();

Comments

[medalot]

fake_shibeさん。
ありがとうございます！