Pythonで文の自然さを比較

Question

実現したいこと

生成したいくつかの文章から、文法的な自然さが最もあるものを選ぶプログラムをPythonで実装したいです。

発生している問題・分からないこと

具体例
今日の天気は晴れです。
明日は遊園地で書ける。

上の二つの場合は、前者を選択のように、自然さをスコア化するなどで比較したいです。このようなプログラムを実装したい。

該当のソースコード

特になし

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

指標Perplexityを使ったが、上手くいかなかった

補足

特になし

Comments

[TakaiY]

本文に質問内容が書かれていませんが、質問は何ですか？

[meg_]

> 生成したいくつかの文章から
どのような方法で生成しましたか？

目的は2つの文章を比較して「文法的な自然さが最もあるものを選ぶプログラム」を作成することですか？
それとも「文法的な自然さ」がある文章を生成することですか？

> 上の二つの場合は、前者を選択のように、自然さをスコア化するなどで比較したいです。このようなプログラムを実装したい。
現状の質問の文章ではコードの作成依頼にしか見えません。「指標Perplexityを使ったが、上手くいかなかった」というのをもっと具体的に書かれた方が回答が付きやすくなるかと思います。

Answer 1

AIの判断でよければ次のような感じでも実装可能かと思います。

ollamaの実行環境のインストールと，
pip install ollama等でpython用のollamaライブラリを別途インストールしておいて下さい。

import ollama

def print_most_natural(texts):
    質問 = '次の文のうち、日本語の文法的に最も自然なものを番号' + \
        '(出力は<result>番号</result>とする)で答えて下さい。' + \
        'またその理由を説明して下さい。\n\n'
    items = [f'{k + 1}. {l}\n' for (k, l) in zip(range(len(texts)), texts)]
    item = "".join(items)
    my_prompt = '質問:\n' + 質問 + item + '\n'

    print(my_prompt)
    output = ollama.generate(model='gemma3:4b', prompt=my_prompt,
                             options={'num_ctx': 4096})

    print('回答:\n' + output['response'])


文 = ['今日の天気は晴れです。', '明日は遊園地で書ける。']

print_most_natural(文)