質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.75%

  • Python

    6827questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • Python 3.x

    5292questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • スクレイピング

    282questions

Python 多次元辞書について

解決済

回答 2

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 219

RWW

score 5

Pythonを使いスクレイピングのコードを書いております。
アパレルブランドのサイトから、商品カテゴリー名、商品名、商品画像を取得し
カテゴリー名 > 商品名 > 商品画像 という風にフォルダを作成し保存をしたいです。
下記画像のようなイメージで辞書の中にリストを作成したいです。
(カテゴリー名、商品名はスクレイピングした際に取得された数だけ作成したいので、この図のように数が固定されている訳ではありません。)
![イメージ説明](66d5eebf9fb14cb0e6bbb523b72f3548.png)

私自身プログラミング初心者で、これをどのようにプログラミングすれば効率よく作成できるのかがわかりません。

今途中まで書いているコードがこちらになります

import requests
from bs4 import BeautifulSoup
import pprint
import os
from urllib.parse import urljoin
import itertools

sex_URL = "https://www.gucci.com/jp/ja/ca/men-c-men"
soup = BeautifulSoup(requests.get(sex_URL).content,'lxml')

def make_folder(category_folder_name):
    os.makedirs("/Users/AA/Desktop/GUCCI/メンズ/" +category_folder_name,exist_ok=True)

#カテゴリ毎のURLを取得し、相対パスを絶対パスに変換
#item_category_listにURLを格納
base = "https://www.gucci.com/jp/ja/"
item_category_link = soup.find_all("a",class_="category-product")
item_category_list = []
for item_category_link in item_category_link:
    item_category_list.append(urljoin(base,item_category_link.get("href")))
print(item_category_list)

item_category_name = soup.select("header > h2")
item_category_name_list = []
for item_category_name in item_category_name:
    item_category_name_list.append((item_category_name).getText())
    make_folder((item_category_name).getText())
print(item_category_name_list)

#item_category_listとitem_category_name_listのリストを1つのディクショナリに変換
keys = item_category_name_list
values = item_category_list
category = dict(zip(keys,values))
print(category)

#カテゴリ毎にURLを解析する
base = "https://www.gucci.com/jp/ja/"
item_list = []
for category_name in category:
    soup= BeautifulSoup(requests.get(category[category_name]).content,'lxml')
    item_link = soup.find_all("a",class_="product-tiles-grid-item-link")
    for item_link in item_link:
        item_list.append(urljoin(base,item_link.get("href"))
        print(item_list)

このコードを書いていて、最初に多次元の辞書を宣言してその中に取得した値を追加していく方法はないのかなと思いました。

自分で色々調べたのですが、そもそも多次元の辞書を空の状態で宣言できるのかと、宣言できたとしても
そこにどのようにリストや辞書を追加すればいいのかがわかりません。

ご教授いただけたらと思います。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

checkベストアンサー

+3

defaultdictを利用すれば可能ではあります。辞書の2段ネスト+リストの例を以下に示します。

>>> from collections import defaultdict
>>> d = defaultdict(lambda :defaultdict(list))
>>> d["hoge"]["fuga"].append(1)
>>> d["hoge"]["piyo"].append(2)
>>> d
defaultdict(<function <lambda> at 0x7f1220f41840>, {'hoge': defaultdict(<class 'list'>, {'fuga': [1], 'piyo': [2]})})

defaultdictはcallableを引数に渡してインスタンス化することで、それがデフォルト値としてセットされた辞書を作ります。
ただ、このようなデータ構造を使うより、pandasデータフレームを使う、XMLとして記録する、DBに入れる、などの方針を取った方が後のことを考えると良いかもしれません。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/04/15 15:05

    ありがとうございます。pandasを検討してみます!

    キャンセル

+2

質問を読んで感じたことを書きます。
コードの構成を考えるヒントにしてください。

1)
辞書(Dictionary)は、キーと値のペアの集まりです。
1つのキーに対して、1つの値が対応づけられます。

多次元の辞書というのは、辞書の値が、辞書であるようなものを指しているのだと思います。
2次元の辞書は、キーと辞書(値)のペアの集まり。
3次元の辞書は、キーと2次元の辞書(値)のペアの集まり。
というように、構成してゆくものです。
最初から、多次元の辞書を宣言するものではありません。

普通はスクレイピングを始める前に、対象のWebサイトの構成は判っていません。そのため、スクレイピングした結果を入れる多次元の辞書を事前に用意しておくことは不可能です。

2)
質問に「フォルダを作成し保存をしたいです」という文と「辞書の中にリストを作成したいです」という文がありますが、これらは以下のような意味ではないかと推測します。
「フォルダを作成し保存をしたいです」というのは、「1つ下の階層の辞書に保存したい」(例えば、"カテゴリー名をキーとする辞書が有る時に、その値として'カテゴリーURLをキーとする辞書'を入れたい")
「辞書の中にリストを作成したいです」は、キーのリストと値のリスト(例えば、商品名のリストと、商品URLのリスト)から、辞書を作成したい。

コードのコメントには「#item_category_listとitem_category_name_listのリストを1つのディクショナリに変換」と書かれています。」
"ディクショナリ"と"Dictionary"と"辞書"は同じものを指していますよね? プログラムを作成する際、仕様、コード等で使う用語は統一しておかないと混乱します。そして、しばしばバグの原因になりますから、この質問も含めて関係するデータや文書での用語統一を図ってください。
用語の統一をしていくと、自分がやろうとしてる事への理解が高まります。そして、正しいコードにするのが早くなります。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/04/16 14:19

    ご丁寧にありがとうございます。
    参考にさせていただき、上手くコードを書くことができました。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.75%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Python

    6827questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • Python 3.x

    5292questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • スクレイピング

    282questions