Python3 エスケープ文字()から始まる単語を指定する

Question

python3で以下の文章から、エスケープ文字「\」から始まるエスケープシーケンス（改行\nなど）をすべて削除しようと思い、以下のように実行しました。
（anaconda3のjupyter notebookを使っています）

私達は、エンジニアが抱える問題の解決を全力でサポートします。
質問・回答によって 生まれたコンテンツを、同じ問題を持った人に最適な形で届けます。

プログラミングに関して、わからないことがあれば是非teratailで質問してください。
あなたがわかることがあれば、是非解決方法をシェアして解決の手助けをしてください。

あなたの全ての行動が、いつか多くの日本のエンジニアの為になります。

from janome.tokenizer import Tokenizer

t = Tokenizer()

# ファイルをオープンする
corpus_text = open("corpus.txt", "r")

# すべての内容を読み込む
corpus = corpus_text.read()

# ファイルをクローズする
corpus_text.close()

# 分かち書きにする
tmp= t.tokenize(corpus, wakati = True)

print(tmp)

print('='*50)

# 空白を消す
word_list = [word for word in tmp if not (word.startswith('\'))]

print(word_list)

['私', '達', 'は', '、', 'エンジニア', 'が', '抱える', '問題', 'の', '解決', 'を', '全力', 'で', 'サポート', 'し', 'ます', '。', '\n', '質問', '・', '回答', 'によって', ' ', '生まれ', 'た', 'コンテンツ', 'を', '、', '同じ', '問題', 'を', '持っ', 'た', '人', 'に', '最適', 'な', '形', 'で', '届け', 'ます', '。', '\n\n', 'プログラミング', 'に関して', '、', 'わから', 'ない', 'こと', 'が', 'あれ', 'ば', '是非', 'teratail', 'で', '質問', 'し', 'て', 'ください', '。', '\n', 'あなた', 'が', 'わかる', 'こと', 'が', 'あれ', 'ば', '、', '是非', '解決', '方法', 'を', 'シェア', 'し', 'て', '解決', 'の', '手助け', 'を', 'し', 'て', 'ください', '。', '\n\n', 'あなた', 'の', '全て', 'の', '行動', 'が', '、', 'いつか', '多く', 'の', '日本', 'の', 'エンジニア', 'の', '為', 'に', 'なり', 'ます', '。']
==================================================
['私', '達', 'は', '、', 'エンジニア', 'が', '抱える', '問題', 'の', '解決', 'を', '全力', 'で', 'サポート', 'し', 'ます', '。', '\n', '質問', '・', '回答', 'によって', ' ', '生まれ', 'た', 'コンテンツ', 'を', '、', '同じ', '問題', 'を', '持っ', 'た', '人', 'に', '最適', 'な', '形', 'で', '届け', 'ます', '。', '\n\n', 'プログラミング', 'に関して', '、', 'わから', 'ない', 'こと', 'が', 'あれ', 'ば', '是非', 'teratail', 'で', '質問', 'し', 'て', 'ください', '。', '\n', 'あなた', 'が', 'わかる', 'こと', 'が', 'あれ', 'ば', '、', '是非', '解決', '方法', 'を', 'シェア', 'し', 'て', '解決', 'の', '手助け', 'を', 'し', 'て', 'ください', '。', '\n\n', 'あなた', 'の', '全て', 'の', '行動', 'が', '、', 'いつか', '多く', 'の', '日本', 'の', 'エンジニア', 'の', '為', 'に', 'なり', 'ます', '。']

出力からわかるように、リスト中の'\n'や'\n\n'などが削除されることを期待していましたが、削除はされていませんでした。
なぜこのコードは正しく機能しないのでしょうか？
また、どうすれば「￥」から始まる文字列を指定できるでしょうか？

---

追記

以下のように一度raw文字列に直すことで""から始まるエスケープシーケンスを検出できました。
raw文字列に直した際、各単語は「''」で囲まれていたので、「'\」から始まる単語を排除するように書いています。

# 分かち書きにする
tmp= t.tokenize(corpus, wakati = True)

print(tmp)

print('='*50)

#エスケープシーケンスを削除する
word_list = []
for word in tmp:
    if not repr(word).startswith('\'\'):
        word_list.append(word)

print(word_list)

['私', '達', 'は', '、', 'エンジニア', 'が', '抱える', '問題', 'の', '解決', 'を', '全力', 'で', 'サポート', 'し', 'ます', '。', '\n', '質問', '・', '回答', 'によって', ' ', '生まれ', 'た', 'コンテンツ', 'を', '、', '同じ', '問題', 'を', '持っ', 'た', '人', 'に', '最適', 'な', '形', 'で', '届け', 'ます', '。', '\n\n', 'プログラミング', 'に関して', '、', 'わから', 'ない', 'こと', 'が', 'あれ', 'ば', '是非', 'teratail', 'で', '質問', 'し', 'て', 'ください', '。', '\n', 'あなた', 'が', 'わかる', 'こと', 'が', 'あれ', 'ば', '、', '是非', '解決', '方法', 'を', 'シェア', 'し', 'て', '解決', 'の', '手助け', 'を', 'し', 'て', 'ください', '。', '\n\n', 'あなた', 'の', '全て', 'の', '行動', 'が', '、', 'いつか', '多く', 'の', '日本', 'の', 'エンジニア', 'の', '為', 'に', 'なり', 'ます', '。']
==================================================
['私', '達', 'は', '、', 'エンジニア', 'が', '抱える', '問題', 'の', '解決', 'を', '全力', 'で', 'サポート', 'し', 'ます', '。', '質問', '・', '回答', 'によって', ' ', '生まれ', 'た', 'コンテンツ', 'を', '、', '同じ', '問題', 'を', '持っ', 'た', '人', 'に', '最適', 'な', '形', 'で', '届け', 'ます', '。', 'プログラミング', 'に関して', '、', 'わから', 'ない', 'こと', 'が', 'あれ', 'ば', '是非', 'teratail', 'で', '質問', 'し', 'て', 'ください', '。', 'あなた', 'が', 'わかる', 'こと', 'が', 'あれ', 'ば', '、', '是非', '解決', '方法', 'を', 'シェア', 'し', 'て', '解決', 'の', '手助け', 'を', 'し', 'て', 'ください', '。', 'あなた', 'の', '全て', 'の', '行動', 'が', '、', 'いつか', '多く', 'の', '日本', 'の', 'エンジニア', 'の', '為', 'に', 'なり', 'ます', '。']

Comments

[tiitoi]

手元の環境ではうまくいきましたが、tmp にそもそも \ で始まる文字列があるのでしょうか。\ ではない別の文字だったりはしないですか(全角の￥など)

[HAGI-04]

質問を編集しました。
消したい文字は全角の「￥」などではなく、確かにバックスラッシュだと思うのですが...

Answer 1

消したい文字は全角の「￥」などではなく、確かにバックスラッシュだと思うのですが...

\n はこれで1つの改行を表す特殊文字で実際に<スラッシュ>n という文字列を表しているわけではありません。
表示する際に \n という文字で表されているだけです。(つまり、見た目の問題)

\n が含まれない 文字だけ残したい場合は次のようにしてください。

text = ['私', '達', 'は', '、', 'エンジニア', 'が', '抱える', '問題', 'の', '解決', 'を', '全力', 'で', 'サポート', 'し', 'ます', '。', '\n', '質問', '・', '回答', 'によって', ' ', '生まれ', 'た', 'コンテンツ', 'を', '、', '同じ', '問題', 'を', '持っ', 'た', '人', 'に', '最適', 'な', '形', 'で', '届け', 'ます', '。', '\n\n', 'プログラミング', 'に関して', '、', 'わから', 'ない', 'こと', 'が', 'あれ', 'ば', '是非', 'teratail', 'で', '質問', 'し', 'て', 'ください', '。', '\n', 'あなた', 'が', 'わかる', 'こと', 'が', 'あれ', 'ば', '、', '是非', '解決', '方法', 'を', 'シェア', 'し', 'て', '解決', 'の', '手助け', 'を', 'し', 'て', 'ください', '。', '\n\n', 'あなた', 'の', '全て', 'の', '行動', 'が', '、', 'いつか', '多く', 'の', '日本', 'の', 'エンジニア', 'の', '為', 'に', 'なり', 'ます', '。']

word_list = [word for word in text if "\n" not in word]
print(word_list)
# ['私', '達', 'は', '、', 'エンジニア', 'が', '抱える', '問題', 'の', '解決', 'を', '全力', 'で', 'サポート', 'し', 'ます', '。', '質問', '・', '回答', 'によって', ' ', '生まれ', 'た', 'コンテンツ', 'を', '、', '同じ', '問題', 'を', '持っ', 'た', '人', 'に', '最適', 'な', '形', 'で', '届け', 'ます', '。', 'プログラミング', 'に関して', '、', 'わから', 'ない', 'こと', 'が', 'あれ', 'ば', '是非', 'teratail', 'で', '質問', 'し', 'て', 'ください', '。', 'あなた', 'が', 'わかる', 'こと', 'が', 'あれ', 'ば', '、', '是非', '解決', '方法', 'を', 'シェア', 'し', 'て', '解決', 'の', '手助け', 'を', 'し', 'て', 'ください', '。', 'あなた', 'の', '全て', 'の', '行動', 'が', '、', 'いつか', '多く', 'の', '日本', 'の', 'エンジニア', 'の', '為', 'に', 'なり', 'ます', '。']

Comments

[tiitoi]

すいません。重複しました。

[HAGI-04]

丁寧な回答、誠にありがとうございました。
2件の回答、どちらも参考になりましたので、申し訳ありませんが投稿時間が早い方をBAとさせていただきました。

Answer 2

エスケープが付く文字は表示は\nだったりしますが、文字列として\から始まっている訳ではありません。そのコードで"\n"は除去できても"\n"は除去できません。

個別に除去するものを選択するしかないでしょう。

word_list = [word for word in tmp if "\n" not in word and "\t" not in word]

正規表現とかを使うと多少スマートかもしれません。

import re

pattern = r"[\n\t]"

word_list = [word for word in tmp if pattern.search(word) is None]

実際にはPythonのエスケープシーケンスは色々あるので、そしてこれをすべてチェックしようとすると難しいので、厳密にやろうとするといろいろ大変です。

https://docs.python.org/ja/3/reference/lexical_analysis.html#literals

Comments

[HAGI-04]

回答ありがとうございました。
自然言語処理に使う予定だったので出現しうるあらゆるエスケープシーケンスを除去できるようにしたかったため個別の選択は避けたかったのですが、難しいなら仕方ありませんね。