質問編集履歴
2
コードが間違っていたので訂正しました。
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -49,9 +49,9 @@
|
|
|
49
49
|
|
|
50
50
|
そこで、最上位のマイドライブフォルダ直下には計１０個のフォルダとファイルしか置いていません。その状態でコードを実行しましたが、症状は改善されませんでした。
|
|
51
51
|
|
|
52
|
-
■一気に12500ファイルに順番にアクセスするコードが駄目なのかと思い、ファイルを１
|
|
52
|
+
■一気に12500ファイルに順番にアクセスするコードが駄目なのかと思い、ファイルを１個ずつの束にして、１束ずつアクセスするように、コードを下記のように書き直しました。しかし、失敗しました。
|
|
53
53
|
|
|
54
|
-
ただし、１フォルダ当たりの中身をファイル500個に減らして（つまり２フォルダでファイル1000個）、下記のコードを実行すると成功しました。（ちなみに、最初に書いたコードを実行すると失敗。つまり、１
|
|
54
|
+
ただし、１フォルダ当たりの中身をファイル500個に減らして（つまり２フォルダでファイル1000個）、下記のコードを実行すると成功しました。（ちなみに、最初に書いたコードを実行すると失敗。つまり、１個ずつの束にすることに、意味はあったのかなと考えています）
|
|
55
55
|
|
|
56
56
|
```python
|
|
57
57
|
from google.colab import drive
|
|
@@ -74,7 +74,7 @@
|
|
|
74
74
|
|
|
75
75
|
for label_type in ['neg', 'pos']:
|
|
76
76
|
dir_name = os.path.join(train_dir, label_type)
|
|
77
|
-
#dir_nameを
|
|
77
|
+
#dir_nameを1fileずつのbatchに加工します
|
|
78
78
|
result = list(split_list(os.listdir(dir_name), 1))
|
|
79
79
|
for x in result:
|
|
80
80
|
for fname in x:
|
1
３段落目に加筆。「コードをどう改造すれば良いですか？」と加えました。
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -3,7 +3,7 @@
|
|
|
3
3
|
|
|
4
4
|
具体的に言うと、IMDb(Internet Movie Database)データをテキストとしてダウンロードして展開し、個々の映画レビューを文字列のリスト(texts)にまとめ、映画レビューのラベル（肯定的、否定的）をlabelsリストにまとめます。
|
|
5
5
|
|
|
6
|
-
しかし、参考書に書いてある通りにコードを実行するのですが、エラーが出るか、実行中状態が続き、完了しません。同じ操作を何度か実行するのですが、完了はしません。
|
|
6
|
+
しかし、参考書に書いてある通りにコードを実行するのですが、エラーが出るか、実行中状態が続き、完了しません。同じ操作を何度か実行するのですが、完了はしません。コードをどう改造すれば良いですか？
|
|
7
7
|
|
|
8
8
|
恐らく参照するファイルが25000個(1フォルダに12500個。それが２フォルダあります）あり、数が膨大なためだと思います。GoogleColaboratoryのよくある質問に「Google ドライブのオペレーションは、フォルダ内のファイル数やサブフォルダ数が増えすぎるとタイムアウトすることがあります。」と書いてありました。
|
|
9
9
|
|