FileNotFoundError: [Errno 2] No such file or directory: 'amazon_data.tsv'というエラーメッセージが解決できない

Question

前提・実現したいこと

実現したいこととしてはファイルの実行エラーを解消することです。

自分はある自然言語処理の本で書かれているコードをpycharmを使って実行しています。
pychramのプロジェクト構成としてあらかじめ作った新規プロジェクトの下にpreprocessing.py train.py utils.pyという名前のファイルとdataという名前のフォルダを格納し、dataフォルダにamazon_data.tsvを格納しています。

発生している問題・エラーメッセージ

本に書かれているコードを実行すると以下のようなエラーメッセージが発生しました。
FileNotFoundError: [Errno 2] No such file or directory: 'amazon_data.tsv'

該当のソースコード（utils.py/preprocessing.py/train.py)

--utils.py--
import string
import pandas as pd

def filter_by_ascii_rate(text,threshold=0.9):
    ascii_letters = set(string.printable)
    rate = sum(c in ascii_letters for c in text) / len(text)
    return rate <= threshold
def load_dataset(filename,n=5000,state=6):
    df = pd.read_csv(filename, sep='\t')

    is_jp = df.review_body.apply(filter_by_ascii_rate)
    df = df[is_jp]

    df = df.sample(frac=1, random_state=state)
    grouped = df.groupby('star_rating')
    df = grouped.head(n=n)
    return df.review_body.values, df.star_rating.values

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

def train_and_eval(x_train, y_train, x_test, y_test, lowercase=False, tokenize=None, preprocessor=None):
    vectorizer = CountVectorizer(lowercase=lowercase, tokenizer=tokenize, preprocessor=preprocessor)
    x_train_vec = vectorizer.fit_transform(x_train)
    x_test_vec = vectorizer.transform(x_test)
    clf = LogisticRegression(solver='liblinear')
    clf.fit(x_train_vec, y_train)
    y_pred = clf.predict(x_test_vec)
    score = accuracy_score(y_test, y_pred)
    print('{:.4f}'.format(score))

--preprocessing.py--
import re

from bs4 import BeautifulSoup
from janome.tokenizer import Tokenizer
t = Tokenizer()


def clean_html(html, strip=False):
    soup = BeautifulSoup(html, 'html.parser')
    text = soup.get_text(strip=strip)
    return text


def tokenize(text):
    return t.tokenize(text, wakati=True)


def tokenize_base_form(text):
    tokens = [token.base_form for token in t.tokenize(text)]
    return tokens


def normalize_number(text, reduce=False):
    if reduce:
        normalized_text = re.sub(r'\d+', '0', text)
    else:
        normalized_text = re.sub(r'\d', '0', text)
    return normalized_text


def truncate(sequence, maxlen):
    return sequence[:maxlen]



--train.py--
from sklearn.model_selection import train_test_split

from preprocessing import clean_html, normalize_number, tokenize, tokenize_base_form
from utils import load_dataset, train_and_eval




def main():
    x, y = load_dataset('data/amazon_data.tsv', n=1000)

    x_train, x_test, y_train, y_test = train_test_split(x, y,
                                                        test_size=0.2,
                                                        random_state=42)

    print('Tokenization only.')
    train_and_eval(x_train, y_train, x_test, y_test, tokenize=tokenize)

    print('Clean html.')
    train_and_eval(x_train, y_train, x_test, y_test, tokenize=tokenize, preprocessor=clean_html)

    print('Normalize number.')
    train_and_eval(x_train, y_train, x_test, y_test, tokenize=tokenize, preprocessor=normalize_number)

    print('Base form.')
    train_and_eval(x_train, y_train, x_test, y_test, tokenize=tokenize_base_form)

    print('Lower text.')
    train_and_eval(x_train, y_train, x_test, y_test, tokenize=tokenize, lowercase=True)


if __name__ == '__main__':
    main()

試したこと

解決法がわからず、とりあえずtsvファイルの格納場所を別のところに移して実行してみた

補足情報（FW/ツールのバージョンなど）

今回使っている本: https://book.mynavi.jp/ec/products/detail/id=113274

Comments

[itagagaki]

> dataフォルダにamazon_data.tsvを格納しています。
本にそういう指示があったのですか？
コードを見るとカレントディレクトリのamazon_data.tsvを読み込むようですが。

[Nile716]

本当なら画像を貼りたいのですが、うまくいかないので本に書かれている説明を部分的に書き出すと
「dataディレクトリの中には使用するデータセットを格納しておきます。今回の場合はamazonの商品レビューを利用します。(amazon_data.tsv)」と書かれているのでおそらく間違ってはいないと思われます。

[itagagaki]

amazon_data.tsvファイルをカレントディレクトリに置いて実行してもダメだったんですね？

[Nile716]

dataフォルダやほかのpyファイルと同じ階層にtsvファイルを格納すると、今回解決したいエラーは消えたのですが
新しくpandas.errors.ParserError: Error tokenizing data. C error: Expected 2 fields in line 6, saw 3
というエラーや別のエラーも出てきてしまいました。

[itagagaki]

では、tsvファイルは data に置いて、
load_dataset('amazon_data.tsv', n=1000)
を
load_dataset('data/amazon_data.tsv', n=1000)
にしてはどうでしょう。
KUROROさんの回答に近いですね。

[Nile716]

実行してみたのですが、さっきと同じ内容のエラーが表示されてしまいました。

[itagagaki]

ファイルの場所の問題は解決しましたね。
本に書かれている通りに amazon_data.tsv を data の中に置いたなら、
load_dataset('data/amazon_data.tsv', n=1000)
でなければならない。これは本に載っているコードが間違っているのだと思いますので出版社に文句を言いましょう ,-)

で、pandasが吐いているエラー「Expected 2 fields in line 6, saw 3」というのは、たぶん、CSVの要素数が先頭行では2個だったので2列の表として読み込みをしていたのに、6行目でデータが3個に増えたのでpandasが怒っているようです。つまり amazon_data.tsv が良くないので直せるなら直すというのが解決策です。

現在の amazon_data.tsv をなんとかして読み込むには…
2つの方法を見つけました。
1つは、一度csvモジュールを使ってリストで読み込んでデータフレームに変換するという方法。
https://fujiyamaegg.com/python-parseerror/
もう1つは、列の数をnamesで指定してあげるという方法。
http://blog.mwsoft.jp/article/113600124.html
お試しください。

[Nile716]

load_dataset('data/amazon_data.tsv', n=1000)の部分をload_dataset('amazon_data.tsv', n=1000)であると誤認していました。すみませんでした。

[Nile716]

amazon_data.tsv をなんとかして読み込む方法として１つ目に提示してもらったやり方で
やってみたところpandasに関するエラーがすべて消えて、別のエラーとして
AttributeError: 'DataFrame' object has no attribute 'review_body'
というものが発生しました。

[Nile716]

そもそも１つ目の方法を正しく実行しているかについては自信がないので自分が変更した部分をについて
説明すると、utils.pyの
def load_dataset(filename, n=5000, state=6):
df = pd.read_csv(filename, sep='\t')
という部分を
csvをインポートしてから
def load_dataset(filename,n=5000,state=6):
pd.options.display.max_rows = None
pd.options.display.max_columns = None

with open(filename, "r", encoding="utf-8", errors="", newline="") as f:
lst = csv.reader(f, delimiter=",")
df = pd.DataFrame(lst)
のように変更しました。

Answer 1

こんばんは。

問題文拝見いたしました。

以下の操作を行い、ファイルパスの変更を行いましょう。

1. ターミナルを開く。
2. amazon_data.tsvファイルがある、ディレクトリに移動する。(cdを利用)
3. pwdを実行する。
4. x, y = load_dataset(pwdの値 + '/amazon_data.tsv', n=1000) へ変更する。

ご確認のほど、よろしくお願いいたします。????‍♂️

Comments

[Nile716]

tsvファイルのあるdataディレクトリに移動してpwdを実行したのですが、「'pwd' は、内部コマンドまたは外部コマンド、 操作可能なプログラムまたはバッチ ファイルとして認識されていません。」と出てきてしまいました。

[退会済みユーザー]

Windowsの方ですかね。

こちらの記事を見ると、cd で確認できるようです。
https://teratail.com/questions/205057

[Nile716]

cdコマンドを実行して、pwd値であるpathを
x, y = load_dataset(pwdの値 + '/amazon_data.tsv', n=1000) にあてはめたのですが
構文エラーが出てきてしまいました。

[退会済みユーザー]

cdで出力された結果は文字列なので、’’で囲いましたか？
またどのようなエラーが表示されたのか、確認したいです。

[Nile716]

ソースコードのtrain.pyのmain関数中で
x, y = load_dataset('amazon_data.tsv', n=1000)
と書いたのですが、これが自分の誤りで本来は
x, y = load_dataset('data/amazon_data.tsv', n=1000)
と書かれていました。すいませんでした。

一応言われた部分を変更したのですが
OSError: [Errno 22] Invalid argument: 'C:\nlp\chapter3\data/amazon_data.tsv'
というエラーが発生しました。

[退会済みユーザー]

パスの問題は解消したみたいですね〜。よかったです。

[Nile716]

とりあえず解決したい問題を解消できてよかったです。
ありがとうございます。

[javahack]

当初の問題がKUROROさんの回答で解決したのであれば、ベストアンサーに選んで本質問は解決済みとして、その後発生しているエラーについては別質問を立ててはいかがでしょうか。

[Nile716]

わかりました。