ファイル入出力プログラムについて

Question

Pythonの演習を行っています。
全く分からず、丸投げになってしまうことをお許しください。
回答よろしくお願いいたします。

以下が問題です。
「ファイルalice-wonderland.txtに書かれたテキストを読み、各単語の出現回数を計測し、出現回数が2以上の単語を降順にソートして出力するプログラムを書きなさい。正規表現を扱るreモジュールを使用します。」

以下が出力結果です。
単語の個数 26
単語の降順リスト
[('the', 12), ('in', 8), ('a', 7), ('and', 7), ('to', 6), ('of', 5),
('it', 5), ('tale', 4), ('one', 4), ('with', 3), ('little', 3), ('by', 3), ('we', 2),
('our', 2), ('are', 2), ('while', 2), ('three', 2), ('such', 2), ('beneath', 2),
('fancy', 2), ('land', 2), ('story', 2), ('next', 2), ('time', 2), ('is', 2),
('thus', 2)]

私の作成途中のプログラム(編集しました)です。

import re

with open('alice-wonderland.txt', 'r', encoding='utf-8') as f:
   data = f.read()
　 data=data.lower()  
   data=re.sub(r'[^a-z]', ' ', data)  
words={}
for word in data.split():
    words[word]=words.get(word,0)+1

d=[(v,k) for k,v in words.items() if v>=2]
d.sort()
d.reverse()

l=0
for word,count in d:
    l+=1
print('単語の個数',l)
print('単語の降順リスト')    
print(d)

上記のプログラムの出力結果です。

単語の個数 28
単語の降順リスト
[(12, 'the'), (8, 'in'), (7, 'and'), (7, 'a'), (6, 'to'), (5, 'of'), (5, 'it'), (4, 'tale'), (4, 'one'), (3, 'with'), (3, 's'), (3, 'little'), (3, 'by'), (2, 'while'), (2, 'we'), (2, 'time'), (2, 'thus'), (2, 'three'), (2, 'such'), (2, 'story'), (2, 'our'), (2, 'next'), (2, 'land'), (2, 'is'), (2, 'fancy'), (2, 'd'), (2, 'beneath'), (2, 'are')]

ファイルalice-wonderland.txtの内容を以下に記載します。

All in the golden afternoon
  Full leisurely we glide;
 For both our oars, with little skill,
  By little arms are plied,
 While little hands make vain pretence
  Our wanderings to guide.

Ah, cruel Three! In such an hour.
  Beneath such dreamy weather.
 To beg a tale of breath too weak
  To stir the tiniest feather!
 Yet what can one poor voice avail
  Against three tongues together?

Imperious Prima flashes forth
  Her edict "to begin it"—
 In gentler tone Secunda hopes
  "There will he nonsense in it!"—
 While Tertia interrupts the tale
  Not more than once a minute.

Anon, to sudden silence won,
  In fancy they pursue
 The dream-child moving through a land
  Of wonders wild and new,
 In friendly chat with bird or beast—
  And half believe it true.

And ever, as the story drained
  The wells of fancy dry,
 And faintly strove that weary one
  To put the subject by,
 "The rest next time—" "It is next time!"
  The happy voices cry.

Thus grew the tale of Wonderland:
  Thus slowly, one by one,
 Its quaint events were hammered out—
  And now the tale is done,
 And home we steer, a merry crew,
  Beneath the setting' sun.

Alice! a childish story take,
  And with a gentle hand
 Lay it where Childhood's dreams are twined
  In Memory's mystic band,
 Like pilgrim's wither'd wreath of flowers
  Pluck'd in a far-off land.

Answer 1

この3つがわからないです。

• Pythonで大文字・小文字を操作する文字列メソッド一覧 | note.nkmk.me
• Pythonで文字列を置換（replace, translate, re.sub, re.subn） | note.nkmk.me

対象文字列をdataに取り込んでいるので、単語を切り出す前に、dataに対して加工を施せばいいでしょう。

単語の切り出しは一応できていますね。あとは、辞書型オブジェクトに頻度情報を書き加えていく処理を修正するだけだと思います。何か不思議なことをしようとしていますが、単純に+1すればいい話です。

Comments

[yr28]

ありがとうございます。
data=str.lower():ですべての文字を小文字に変換、ということでしょうか？

単純に+1というのはwords[word]=words.get(word,0)+1のことでしょうか？

質問ばかりすみません。

[KojiDoi]

すみません、words.get近辺のコードについては私が読み違えておかしなことを言いました。
未登録のキーについてエラーを回避するためにgetを使っていると思いますが、words.getの結果がNoneであった場合はwords[word]=1 そうでなければwords[word]+=1というふうにすればいいと思います。

[yr28]

ありがとうございます。
分かりました！
すみません。小文字に変換するプログラムを詳しく教えていただきたいです。

[KojiDoi]

どの辺が判りませんか? 最初にlowerを使ってdataの中身を一気に小文字にしてしまえばいいだけの話に見えますが。

[yr28]

できました。
ありがとうございます！

[yr28]

度々すみません。
“辞書型オブジェクトに頻度情報を書き加えていく処理を修正する”というところを詳しく教えていただきたいです。

[KojiDoi]

上のコメントで補足したとおりです。

[yr28]

プログラムを編集し、出力結果を出したのですが’ｓ’と’ｄ’が抽出されてしまったことと、wordとcountが反対になってしまいます。
修正箇所を指摘していただけないでしょうか。

Answer 2

プログラムを書いたら勉強にならないので、手順だけ書いておきます。(修正しました)

R. ファイルを読み込む。
L. 大文字を小文字に置き換える。
B. 区切り文字等を空白に置き換える。
W. 単語を切り出す。
C. 単語を数える。
S. 単語の数で並び替える。

これらのうちのどれはすぐにできそうですか。
ネットでしらべてできそうなものはどれですか。
自力ではできないと思うものはどれですか。

L. 大文字を小文字に置き換える、はtolowerを知っているので、あとはどこで使うかだけの問題ですね。
また、単語を切り出すのもsplitはわかっているのですね。
では、B. 区切り文字等を空白に置き換える、だけがわかればよいということになります。

置き換えは、re.subを使います。使い方は、以下のようにします。
今回は、小文字以外は全部おきかえることにしました。

>>> import re
>>>
>>> data = '''And ever, as the story drained
...   The wells of fancy dry,
...  And faintly strove that weary one
...   To put the subject by,
...  "The rest next time?" "It is next time!"
...   The happy voices cry.
... '''
>>> data
'And ever, as the story drained\n  The wells of fancy dry,\n And faintly strove that weary one\n  To put the subject by,\n "The rest next time?" "It is next time!"\n  The happy voices cry.\n'
>>> replaced_data = re.sub(r'[^a-z]', ' ', data)
>>> print(replaced_data)
 nd ever  as the story drained    he wells of fancy dry    nd faintly strove that weary one    o put the subject by     he rest next time     t is next time      he happy voices cry
>>> words_list = replaced_data.split()
>>> print(words_list)
['nd', 'ever', 'as', 'the', 'story', 'drained', 'he', 'wells', 'of', 'fancy', 'dry', 'nd', 'faintly', 'strove', 'that', 'weary', 'one', 'o', 'put', 'the', 'subject', 'by', 'he', 'rest', 'next', 'time', 't', 'is', 'next', 'time', 'he', 'happy', 'voices', 'cry']

何か変ですね。でも、これを上手に使えばやりたいことはできるはずです。
ヒント：私の質問をよく読み返してください。

完成に近づいてきましたね。

's'と'd'の問題は、手抜きをするなら、辞書の段階で削除するのですが、正規表現の勉強を兼ねて、コードを示します。

>>> import re
>>>
>>> data = '''Alice! a childish story take,
...   And with a gentle hand
...  Lay it where Childhood's dreams are twined
...   In Memory's mystic band,
...  Like pilgrim's wither'd wreath of flowers
...   Pluck'd in a far-off land.
... '''
>>> replaced_data = re.sub(r"'s|'d|[^a-z]", ' ', data.lower())
>>> print(replaced_data)
alice  a childish story take    and with a gentle hand  lay it where childhood  dreams are twined   in memory  mystic band   like pilgrim  wither  wreath of flowers   pluck  in a far off land

正規表現を前回のr'[^a-z]'からr"'s|'d|[^a-z]"に変えました。
"'s"という文字列または、"'d"という文字列または、a-zでない一文字を空白に置き換えるという意味です。
文字列を囲むシングルクォ－トをダブルクォートに変えたのは、シングルクォ－ト自体を含む文字列をシングルクォ－トで囲むためにはエスケープということを行う必要があるからです。正規表現を使うならエスケープは覚えておいたほうが良いので、例を示します。

>>> re.sub(r'\'s|\'d|[^a-z]', ' ', data.lower())
'alice  a childish story take    and with a gentle hand  lay it where childhood  dreams are twined   in memory  mystic band   like pilgrim  wither  wreath of flowers   pluck  in a far off land  '

次に、wordとcountが反対という問題です。
印字する前に
d = [(k,v) for v,k in d]
でも良いのですが、sortの勉強として、以下のやり方も覚えておいてください。

>>> d = [('in', 8), ('the', 12), ('a', 7)]
>>> def second(x):
...     return x[1]
...
>>> d.sort(key = second, reverse=True)
>>> print(d)
[('the', 12), ('in', 8), ('a', 7)]

keyは、並べ替えるときに使う情報をして指定してます。
('in', 8)が与えられたら、second(('in', 8)) つまり8だと思って並べ替えてくださいという意味です。
reverse=Trueは降順に並べ替えるという意味です。

また、lambda記法というのを使うと、secondという関数を定義しなくてもできますが、これを覚えるのはもっと後になってからで良いでしょう。
書き方だけ示しておきます。

>>> d = [('in', 8), ('the', 12), ('a', 7)]
>>> d.sort(key = lambda x: x[1], reverse=True)
>>> print(d)
[('the', 12), ('in', 8), ('a', 7)]

Comments

[yr28]

ありがとうございます。
Pythonは授業では学習しておらず、ゼミの課題でPythonを行っております。
正規表現は使わないといけないため、もし可能であれば正規表現を使う方法を教えていただきたいです。
よろしくお願いいたします。

[ppaul]

ピリオドやコンマを外すのを正規表現でやるのかなあ。なくてもできますけどね。

[KojiDoi]

it!"—
とか
"It
とかを纏めて
('it', 5)
のようなので、

「単語を切り出す」の前の段階で
* アルファベット以外の文字をスペースに置換する
* 大文字を小文字に置換する
という処理が必要で、ここに正規表現を使う余地がありそうです。

[yr28]

ありがとうございます。
少し作成したプログラムを追記しましたので修正いただきたいです。
L. 大文字を小文字に置き換える。
B. 区切り文字等を空白に置き換える。
W. 単語を切り出す。
この3つがわからないです。
よろしくお願いいたします。

[yr28]

ありがとうございます。
プログラムを編集し、出力結果を示したのですが’ｓ’と’ｄ’が抽出されてしまったことと、wordとcountが反対になってしまいます。
修正箇所を指摘していただけないでしょうか。

[yr28]

ありがとうございます。
細かい説明等も大変助かりました。