[JSONDecodeError]Googletransが急に結果を出力してくれなくなった

Question

一旦は動いたコードなのに、JSONDecodeErrorが出て翻訳がでなくなりましたorz

試したこと

• freqdist_list = freqdist.most_common(100)の most_common(100)の数を100にしてみる。(一旦は動いたけど、結局動かなくなる)
• 負担がかかるのではと思いtime.sleep(5)を入れても状況変わらず。。。

どうぞよろしくお願いします:(

エラー文

ayumka@yukiya:~/PycharmProjects/26and1$ python 26and1.py
Traceback (most recent call last):
  File "26and1.py", line 44, in <module>
    show_word() # csvScraping.py
  File "/home/ayumka/PycharmProjects/26and1/csvScraping.py", line 15, in show_word
    ru_ja = translator.translate(ru, 'ja')
  File "/usr/local/lib/python3.6/dist-packages/googletrans/client.py", line 172, in translate
    data = self._translate(text, dest, src)
  File "/usr/local/lib/python3.6/dist-packages/googletrans/client.py", line 81, in _translate
    data = utils.format_json(r.text)
  File "/usr/local/lib/python3.6/dist-packages/googletrans/utils.py", line 62, in format_json
    converted = legacy_format_json(original)
  File "/usr/local/lib/python3.6/dist-packages/googletrans/utils.py", line 54, in legacy_format_json
    converted = json.loads(text)
  File "/usr/lib/python3.6/json/__init__.py", line 354, in loads
    return _default_decoder.decode(s)
  File "/usr/lib/python3.6/json/decoder.py", line 339, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "/usr/lib/python3.6/json/decoder.py", line 357, in raw_decode
    raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

該当コード

# 26and1.py
# -*- coding: utf-8 -*-
from nltk import FreqDist
import pymorphy2
import csv
import re

import del_words 
from csvScraping import show_word

downloadtxt = open('26and1.txt', 'r') 
texts = downloadtxt.read()
texts = re.sub('[.,?!()\'—]', ' ', texts)
texts = texts.split()

analyzer = pymorphy2.MorphAnalyzer()

lemma_list = []
for text in texts:
    lemma = analyzer.parse(text)[0].normal_form
    lemma_list.append(lemma)

lemma_list = list(filter(lambda d: d not in (str(del_words.del_w)), lemma_list))
freqdist = FreqDist(lemma_list)
freqdist_list = freqdist.most_common(100) 

with open('26and1.csv', 'w') as file: 
    writer = csv.writer(file, lineterminator = '\n')
    writer.writerow(['Ру','Ном'])
    for n in range(0, len(freqdist_list)):
        writer.writerows([freqdist_list[n]])
pass

show_word() # csvScraping.py

# csvScraping.py
import pandas as pd
from googletrans import Translator
import time
import warnings
warnings.filterwarnings('ignore')
# https://pypi.org/project/yandex-translater/ を使うか?

def show_word():
    csv_input = pd.read_csv('26and1.csv', sep=",")
    csv_input['Яп'] = ''

    for index, row in csv_input.iterrows():
        ru = csv_input.iloc[index, 0]
        translator = Translator()
        ru_ja = translator.translate(ru, 'ja')
        ja = ru_ja.text
        csv_input['Яп'][index] = ja
        time.sleep(5)

    csv_input.to_csv('26and1.csv', index=False)

とりあえず手作業も挟んで解決xD

tiitoiさんの推測どおり、googletransを使っています。最初は300語だったので、それが一日に積み重なって1万5,000語超える。。。確かに50回のトライはしたかもorz でも「ひとつのテキストで15000」という部分が納得できない(・_・) そこは信頼すべきでないか。。。

The maximum character limit on a single text is 15k

とりあえず現行のpythonの翻訳ライブラリ系はほぼgoogleを使っている、またロシアで主流のЯндексも課金制のようなので、以下のやり方に切り替えました。

1. 26and1.pyでロシア語の文章でよく使われる単語を頻出順に登場回数も含めてCSVに出力
2. 手動で出力したCSVをlibreofficeで開く (OSがLinux Mintのため)
3. 手動でロシア語の部分をコピー
4. 手動でЯндекс.Переводчикにペーストし、翻訳。
5. 翻訳結果をコピーしてテキストファイルに保存。
6. テキストファイルの中身を26and1.csvに追記

# 26and1.py
# -*- coding: utf-8 -*-
from nltk import FreqDist
import pymorphy2
import csv
import re

import del_words 

downloadtxt = open('26and1.txt', 'r')
texts = downloadtxt.read()
texts = re.sub('[.,?!()\'—]', ' ', texts)
texts = texts.split()

analyzer = pymorphy2.MorphAnalyzer()

lemma_list = []
for text in texts:
    lemma = analyzer.parse(text)[0].normal_form
    lemma_list.append(lemma)

lemma_list = list(filter(lambda d: d not in (str(del_words.del_w)), lemma_list))
freqdist = FreqDist(lemma_list)
freqdist_list = freqdist.most_common(600)

with open('26and1.csv', 'w') as file: 
    writer = csv.writer(file, lineterminator = '\n')
    writer.writerow(['Ру','Ном'])
    for n in range(0, len(freqdist_list)):
        writer.writerows([freqdist_list[n]])
pass

26and1.py出力結果

Яндекс.Переводчик出力結果
(26and1_600JP.txt)

# addJP.py
import pandas as pd
import warnings
warnings.filterwarnings('ignore')

jp = open('26and1_600JP.txt', 'r')
jp_w = jp.read()
jp_w = jp_w.split()

csv_input = pd.read_csv('26and1.csv', sep=",")
csv_input['Яп'] = ''

for index, row in csv_input.iterrows():
    csv_input['Яп'][index] = jp_w[index]

csv_input.to_csv('26and1.csv', index=False)

addJP.py出力結果

しかしмочьは英語のcan相当だから「缶」ではなく「できる」なんだよな。。。そこはご愛嬌か^^; неяも多分訳が違って「彼女」みたいな感じだったと思う。。。そこは人力で修正^^ または最初からGoogle翻訳を使うか。

Comments

[tiitoi]

使ってるのは https://py-googletrans.readthedocs.io/en/latest/ ですよね。Google 非公式のものだと思うので、使いすぎてブロックされたのではないでしょうか？安定して使いたいならお金を払って公式が提供しているAPIを使うしかないかと思います。

[Yukiya025]

tiitoi様、ありがとうございます<3 そうです^^; とりあえず手動タスクも間に挟んで安定して動く方法思いついたのでそれでプログラムを書き直しました(≧∇≦)b 本文の最後に解決策を追記したのでご覧くださいm(_)m

Answer 1

py-googletransのGitHubのissuesを見ると、Googleがブロックを始めたと思われます。コードの問題ではなく、大量に処理をするのが難しくなっているためではないでしょうか。

https://github.com/ssut/py-googletrans/issues/85
https://github.com/ssut/py-googletrans/issues/83
https://github.com/ssut/py-googletrans/issues/77

Comments

[Yukiya025]

YasuhiroNijiさま、ありがとうございます(≧∇≦)
ブロックされたんですね^^; それでも翻訳ライブラリはGoogle系しか見当たらないので、制限なくロシア語-日本語の単語ペアを作れるよう、手動も挟んで望む結果を出すように方向性を変えました！
長くなるので、本文の最後に解決策を追記したのでご覧ください^^/