pandasのdfを関数間で共有したい

Question

#状況
pythonでpandasを使い、複数サイトでスクレイピングを行って、最終的にCSVを吐き出すプログラムを書いています。
まず、main.pyで以下のように関数の外でdfを宣言します。このdfは正常に作成されています。

columns = ["Name",  "Price", "Url"]
df = pd.DataFrame(columns=columns)

次に、一つ目の関数では、ECサイトの検索〜スクレイピングを行って、以下のような感じでdfに値を追加していきます。
nameは商品名、priceに値段、URLはその商品ページのURLです。

name	price	Url
hoge	hoga	hogu
huga	hoga	huge

次の関数では、このdfからurlを取り出し、そのURLに飛んで、その商品のIDを取得した上で、このdfにIDの列とそれぞれの値を追加したいです。

|name |price |Url |ID|
|---|---|---|
|hoge |hoga |hogu |abc|
|huga |hoga |huge |def|

この後もIDを使ってさらに別サイトでスクレイピングしていきたいため、dfをグローバルで扱いたいと思っていますが、そもそも上にあげた二つの処理すらうまくいっていません。

Traceback (most recent call last):
  File "main.py", line 14, in <module>
    gethogeSearch.search_hoge(search_word, get_pages)
  File "/hoge/gethogeSearch.py", line 102, in search_hoge
    print(df)
NameError: name 'df' is not defined

#（2019/11/27追記）試したこと
グローバル変数としてではなく、main.pyで指定した上で各モジュールには引数渡しをする

import pandas as pd
import gethogeSearch

#各関数で共有するグローバル変数/最終成果物のcsvのモト
columns = ["Name",  "Price", "Url"]
df = pd.DataFrame(columns=columns)

#実行時にターミナルから叩く
search_word = input('検索する語句：')
number = input('ページ数：')
get_pages = int(number)

df = gethogeSearch.search_hoge(df, search_word, get_pages)

print(df)

#coding UTF-8

import requests
from bs4 import BeautifulSoup
import pandas as pd
import csv
from time import sleep
import random
import lxml.html

def search_hoge(df, search_word, get_pages):
        
        
        #検索ワードからスクレイピング対象URL(=url)生成（略）
        
        page = 1

        try:
                #「get_pages」のページ分だけ繰り返す
                while page < get_pages + 1:
                        
                        #何ページ目を取得している最中なのか表示  
                        print(page,"ページを取得中.....")
                        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36'}

                        #作成したURLからHTMLを取得
                        response = requests.get(url, headers=headers)
                        sleepTime = random.randint(2,8)
                        

                        #BeautifulSoupの初期化
                        soup = BeautifulSoup(response.content, "lxml") 
                        
                        #検索結果リスト全体
                        items = soup.select(".hoge")

                        #リスト各要素に対して
                        for item in items:
                                name = item.find("span", {"class":"huga"})
                                price = item.find("span", {"class":"hoge"})
                                #空でないならdfに追加
                                if name != None and price != None:
                                        nameTitle = name.string
                                        priceText = price.string
                                        item_url = item.a.get("href")
                                        se = pd.Series([nameTitle, priceText, item_url], columns)
                                        print(se)
                                        df = df.append(se, columns)
                                        
                        #ページの下の方の「次のページ」のURLを取得
                        NextUrl = soup.find('li', {"class":"hg"})
                        Url = NextUrl.a.get("href")
                        url = huga + Url

                        #次のページに行くので変数pageの値を1大きくする
                        page += 1
                        sleepTime = random.randint(3,15)
                        sleep(sleepTime)
        except:
                #取得しようと思ったページ数まで到達する前に終わったらそのページ以降はなかったと出力
                nextpage = str(page+1)
                print(nextpage + "以降のページはなかった")

        finally:
                #保存するcsvのファイル名を決める
                filename = search_words + ".csv"
                
                #作成したリストをcsvへ
                df.to_csv(filename, encoding = 'utf-8-sig')

                print("対象としたURL：" + url)

                #終わったことを出力
                print(filename + "を作成しました")
        
        return df #empty dataframe

#教えていただきたいこと
なぜ引数渡しができていないのでしょうか。

Comments

[tiitoi]

関数内で df が参照されるタイミングは df = pd.DataFrame(columns=columns) で df が定義されるよりあとのタイミングになっていますでしょうか？

[hayataka2049]

コード全体、Traceback全文を含めたエラーメッセージの全体をご提示いただかないと回答はつきづらいと思います。

Answer 1

グローバル変数とすれば各関数間で共有できますが、できないというのは何かが間違っているってことでしょう。

これ以上はコードの提示がないのでなんとも言えません

Comments

[george6493]

回答感謝いたします！先ほどmain.py全文を含め更新を行いましたので、確認いただけますでしょうか。

Answer 2

モジュール（.pyファイル）をまたいでグローバル変数を使うことはできません。グローバル変数といえどスコープには制限があり、一つのファイルの中までです。

素直に引数と返り値で受け渡しするのが無難かと思います。渡すときは

gethogeSearch.search_hoge(df, search_word, get_pages)

という感じですね。gethogeSearch.search_hoge側は相当する引数を受け取れるように書き換えます。また、DataFrameを書き換えて返したいのであれば最後にreturn文で返し、受け取る側で改めて変数dfに再代入します。

Comments

[george6493]

ありがとうございます。グローバル変数のスコープの件、mainで呼んでいるから大丈夫なものと勘違いしておりました。ありがとうございます。

ところが、引数わたしにすると、受け取りをする関数内でdfを初期化しないと使えず(pandasに関係していることを書けないためでしょうか)、そのままの形で受け取れないようなのです。初期化せず受け取る手法がもしあればご教示いただけますと幸いです。

[hayataka2049]

呼び出し側と関数定義、発生している問題の記述を追記してみてもらえますか？

[george6493]

呼び出し側と定義側を全文追記いたしました。また返り値とmainのdfのprintの結果をコメントで併記しております。
お手数おかけしてごめんなさい。ここまでも、ご教示いただきありがとうございます！

[hayataka2049]

関数内部の処理がうまくいっていないのでしょう。
ところで、amazonということであればスクレイピングは規約で許可されていません。回答者としてもこれ以上は協力できませんので、あしからず。
https://www.amazon.co.jp/gp/help/customer/display.html?nodeId=201909000

Answer 3

hayatakaさま、誤解を生みまして失礼いたしました。
規約違反等ないサイトに限って運用させていただきます。

こちらのリンクの
https://qiita.com/567000/items/d8a29bb7404f68d90dd4
「型(カラム)だけ決まっているDataFarmeに値(行)を追加していく」
を参考に関数内での追記処理をしたところうまくいきました。