【Django】フォームにURLを入力しsubmitすると、そのURLをスクレイピングして文章を表示する機能を作成したい。

Question

現在Djangoでフォームを作成しているのですが、入力した値をそのまま表示する処理は動作するのですが、入力した値に何か処理を加えて（今回の例ではスクレイピング）、その結果得られた値を表示する機能が作成できないで困っています。

例えば、フォームにyahoo.comと入力した場合、そのURLでの本文を取得し表示。

下記はローカルでhttp://localhost:8000/index/にアクセスした際に起こるエラーです。

・urlがNoneの場合の処理をviews.pyに追加

#Views.py
from django.http.response import HttpResponse
import requests
from bs4 import BeautifulSoup

def index(request):

    url = request.GET.get('url')

    if url == None:
        d = {
             'category' : "urlを入力して下さい。"
        }
    else:
        # 入力されたURLでの本文を取得する。
        r = requests.get(url)
        soup = BeautifulSoup(r.text, 'lxml')
        doc = soup.find_all('p')

        #取得した本文を形態素解析し、名詞のみ抽出
        word_list=''
        for text in doc:
            m = MeCab.Tagger()
            m_text = m.parse(text.text)
            for row in m_text.split("\n"):
                word =row.split("\t")[0]#タブ区切りになっている１つ目を取り出す。ここには形態素が格納されている
                if word == "EOS":
                    break
                else:
                    pos = row.split("\t")[1]#タブ区切りになっている2つ目を取り出す。ここには品詞が格納されている
                    slice = pos[:2]
                    if slice == "名詞":
                        word_list = word_list +" "+ word

        d = {
            'category': word_list
        }

    return render(request, 'classifier/index.html',d)

#index.html
{% extends "classifier/base.html" %}

{% block section %}
<form action = "" method="get">
  <label>URL：<input type="url" size = "30" name ="url">
  <input type="submit" value="送信">
  </label>
</form>

{% if category %}
<p>{{category}}</p><br>
{% endif %}
{% endblock %}

かれこれ3時間ほど悩んでいるのですが、解決できません。。よろしくお願いします。

また、エラーの解決に必要なファイルがあれば追加するので、お申し付けください。

Answer 1

ただアクセスしたときにはGETで送られるものがなく、 url = request.GET.get('url') の値が None になってしまいます。
None の時にはスクレイピングを行わないようにif文を追加したらどうでしょう。

Comments

[退会済みユーザー]

ご回答ありがとうございます。
追加すると動きました！
しかし、新たな問題が１つあります。
・URLを入力し送信した時；スクレイピングの結果が表示
は問題なく動くのですが、index.htmlにアクセスした際に、URLがNoneの場合のメッセージが送信ボタンを押すことなく初めから表示されてしまいます。。

申し訳ありませんが、こちらもご教示願えないでしょうか。
私としては、送信ボタンを押すことでviews.pyのコードが作動すると思っていたのですが、間違いなのでしょうか？

[退会済みユーザー]

そしてURLを入力するフォームが空白の状態で送信を押すと、質問内容に記載しているエラーが出てしまいます。。

[mistn]

views.pyのコードはページにアクセスしたときに実行されます。

Noneは request.GET.get(key) を実行したときにkeyがない場合に返されます。
https://docs.djangoproject.com/en/1.11/ref/request-response/#django.http.QueryDict.get

空白状態で送信ボタンを押すと空白が送信されます。空白の時の処理も追加するといいと思います。

[退会済みユーザー]

上手くいきました！
本当に助かりました！
ありがとうございます。