常連

スケジュール管理のwebアプリ作成においてカレンダー画面にスケジュールを表示させる段階で以下のようなエラーがでてしまい躓いています。
いろいろと調べてみたのですがプログラミング初心者のため、どこを修正すればよいのか検討がつきません。

エラーメッセージ
HTTPステータス 500 ? Internal Server Error
Type Exception Report

説明 The server encountered an unexpected condition that prevented it from fulfilling the request.

例外

java.lang.NullPointerException
	MonthView5.createScheduleStr(MonthView5.java:191)
	MonthView5.doGet(MonthView5.java:148)
	javax.servlet.http.HttpServlet.service(HttpServlet.java:634)
	javax.servlet.http.HttpServlet.service(HttpServlet.java:741)
	org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:53)
注意 原因のすべてのスタックトレースは、サーバのログに記録されています

java
ソースコード
長いので以下にソースコードのリンクを貼らさせていただきます。
[リンク内容](https://www.javadrive.jp/servlet/schedule/MonthView5.java)

補足情報
tomcat9.0
MySQL

500エラーの対処法がわかりません。

『Land Of Lisp』という書籍で簡易的なWebサーバを作る章の勉強をしています。
ポート8080にソケットを開いて、ブラウザで以下(p259)を入力したのですが、接続が拒否されてしまいます。
> http://127.0.0.1:8080/greeting
```Lisp
;;処理系はClispです
(defun serve (request-handler)
  (let ((socket (socket-server 8080)))
    (unwind-protect
      (loop (with-open-stream (stream (socket-accept socket))
        (let* ((url        (parse-url (read-line stream)))
                  (path     (car url))
                  (header (get-header stream))
                  (params (append (cdr url)
                                (get-content-params stream header)))
                  (*standard-output* stream))
              (funcall request-handler path header params))))
       (socket-server-close socket))))
```

以下のコマンドでポート8080が正常に機能していることは確認済みですので、localhostに接続できていないことが原因であると考えています。
> lsof -i :8080


いろいろと解決策を調べている中で、以下は試しました。
・ファイアーウォールの設定で、Google Chrome.appの接続を許可
・プロキシの設定で、「プロキシ設定を使用しないホストとドメイン」に*.localがあることを確認

原因の調査方法・調査観点などをご教示いただければと思います。
よろしくお願いします。


【追記】
Apacheの起動を行なっていなかったため、以下コマンドでhttp://localhostと打ち込んで「It works!」と表示されるところまでは確認できたのですが、ポート8080に接続しようとすると反応のない状況です。
> sudo apachectl start

localhostへの接続が拒否される

### 解決したいこと
以下を解決したいです。
- httpまたはhttpsはネットワーク接続があれば使用できるのか
- データの移行にhttpまたはhttpsを使用するのはセキュリティー上、問題ないのか

### 調べたこと

いろいろ調べるとhttpまたはhttpsは
- インターネット上で通信するときに使われるプロトコル

と出てきます。
やはりネットワーク接続のみでは使用不可ということでしょうか⋯？
また、インターネット上で通信するときに使われるのでセキュリティー的にも危ないでしょうか。

いろいろ調べてみたものの、はっきりとした答えが分からず質問させていただきました。
初歩的な質問になりますがご教示願います。

httpまたはhttpsはネットワーク接続があれば使用できるのか

サーバー側でレスポンスをgzipなどで圧縮し、クライアント側でそれを展開することで通信容量を少なくし、コンテンツを取得する速度を速くすることも出来ますが、
一方で圧縮・展開に追加のリソースかかり、それが表示時間の増加に繋がってしまう恐れもあるかと思います。

一般的なプラクティスとして、jsonを返す一般的なRESTサーバー（TwitterやGithubのAPIなど）では、レスポンスは圧縮するべきなのでしょうか。

一般的なRESTサーバーは、jsonレスポンスをgzipなどで圧縮するべきでしょうか

### 「パスワードの送信にURLクエリパラメータを使ってはいけない」のは何故か？

「パスワード等の機密情報をWebサーバーに送信する際は，URLクエリパラメータではなくPOSTのリクエストボディを使うべきである」
という主張を複数の書籍・サイトで見かけたことがありますが，この理由はなんでしょうか？

SSL/TLSを使わないhttp通信の場合は通信路でパケットを盗聴されるとリクエストの中身がすべて丸見えですから
POSTで送ったところで機密情報の保護には役に立ちません。

一方SSL/TLSを使った場合はクエリパラメータまで暗号化されるため，クエリパラメータで送ったところで
機密情報が盗み見られることはありません。(SSL/TLSに脆弱性が無い限り)

したがって個人的にはパスワードをクエリパラメータで送っても何の問題もないと思っているのですが，
表題の主張には何か理由があるものなのでしょうか？
よろしくお願いします。

「パスワードの送信にURLクエリパラメータを使ってはいけない」のは何故か？

HTTPのPOSTメソッドでリクエストを投げる際にURLエンコードする必要性はあるのでしょうか。
URLエンコードというのは、もともとヘッダ部のURL部分に2バイト文字や制御文字と紛らわしい文字が入るのを防止するためのものであり、
BODY部には不要ではないかと思いました。

例えばMIME TYPEにapplication/x-www-form-urlencodedが指定されている場合文字列はエンコードして送信されますが、
application/jsonを指定する場合などは、手動でURLエンコーディングするべきでしょうか？

HTTPのPOSTメソッドにおいてリクエストボディをURLエンコードする必要性はあるのでしょうか？

### 概要

例えば Yahoo! Japan と Google を例に挙げますが、

- (1) https://www.yahoo.co.jp/
- (2) https://www.yahoo.co.jp./
- (1) https://www.google.co.jp/
- (2) https://www.google.co.jp./

通常、(1) のような一般的なURLを使うと思いますが、(2) のように「ドメイン名の末尾にドットをつけたURL」でもアクセスを試みることが可能です。そして、名前解決は期待通り実行されるため、目的のWebサーバからHTTPレスポンスを得ることが可能です。

しかしこのとき、ドメイン名の末尾にドットを付けているせいで、意図せぬ結果になることがあります。Yahoo! がその一例でエラーページになってしまっています。一方 Google はドットを取り除いたURLにリダイレクトするような挙動となっていて、この問題に対して適切な対応が採られているように見えます。

### 質問

- (Q1) 「ドメイン名の末尾にドットをつけたURL」で HTTP リクエストすることについて、何か名称はあるでしょうか。（この問題について調べたいので名称を知りたいと思っています）
- (Q2) 「ドメイン名の末尾にドットをつけたURL」による HTTP リクエストによって生じる問題（特に脆弱性につながるような攻撃）はあるでしょうか。（間接的な DoS に繋がることは想像できますが、それ以外に何か興味深い攻撃に繋がるといった情報があれば知りたいです）
- (Q3) Google の挙動のように、この問題を簡単に回避する Web サーバ側での対策や設定について一般的に知られているものはあるでしょうか。（例えば Apache であれば .htaccess にこんな風に書けばいいよといったものなど）
- (Q4) その他、この件について補足情報があれば教えてください。

全てについて回答できない場合でも、何かご存知の方がいればぜひご回答いただければ助かります。

ドメイン名の末尾にドットをつけたURLの挙動について

### 実現したいこと

pythonで下記サイトからスクレイピングし、csvデータを作成したい。
http://kensaku.shiho-shoshi.or.jp/search/member.php?search_code=29&search_name=&search_address=&x=122&y=11&pageID=1

### 前提

pythonで日本司法書士連合会のホームページからデータを取得し、csvデータを作成したいと思っております。
ほぼ大方完成しておりますが、解決すべき問題が2点あります。

### 発生している問題・エラーメッセージ

```
エラーメッセージはありませんが、下記の点を解決したいと思っております。

①ホームページを見ていると、ところどころ外字が画像になっております。画像のところを〓にして表記しているのですが、現在のプログラムでは、画像があった場合の対応は、名前のところに付けるようにしています。それを、住所のところに画像があった場合、住所欄に〓を付けるようにしたいです。
②法人名／事務所名も新たに項目を付けたいのですが、コードをどのようにつければよいでしょうか？

下記のコードに、上記の2点を改良したいと思っております。

```

### 該当のソースコード

```ここに言語名を入力
import re
import time
from urllib.parse import urljoin
from bs4 import BeautifulSoup
import requests
# 追記
import csv

#予め正規表現でそれぞれのパターンを準備しておく
郵便番号パターン = r'〒\d{3}-\d{4}'
電話番号パターン = r'TEL ： \d{2,4}?-\d{2,4}?-\d{3,4}'
# 今回のケースの場合56行目で相対パスとして取得される為、予めここでもウェブサイトURL部分と分割しておく
url = 'http://kensaku.shiho-shoshi.or.jp'
href = 'search/member.php?search_code=29&search_name=&search_address=&x=125&y=18&pageID=1'

# 追記
output = [['郵便番号', '住所', '電話番号', '氏名', 'ふりがな']]

while True:
    html = requests.get(urljoin(url, href))    # urljoinでURLの結合
    soup = BeautifulSoup(html.content, 'html.parser')
    # table要素を指定
    table = soup.find('table', id='kojin')
    # table内から全てのtr要素を取得
    tr_list = soup.find_all('tr')
    for tr in tr_list:
        # table要素内にtacクラスの要素がある場合に実行(要は1番目のtr要素の除外)
        if tr.find_all(class_='tac'):
            # 大まかにtr要素内の全ての文字列を取得・分割しておく
            td_list = [td.text for td in tr.find_all('td')]
            # 氏名を漢字表記とルビ表記で分割
            # 氏名欄にimg要素が含まれていた場合には名前の先頭に目印として○をつける
            if tr.find('img'):
                names = td_list[1].split('\n')
                names[0] = '〓' + names[0]
            else:
                names = td_list[1].split('\n')
            # 正規表現のパターンが一致した場合に郵便番号の取得
            zipcode = re.search(郵便番号パターン, td_list[4]).group()
            # 正規表現のパターンが一致した場合に電話番号の取得
            # (電話番号を載せていないケースもある為try文を使用する)
            try:
                telephone = re.search(電話番号パターン, td_list[4]).group()
                locate = td_list[4].replace('\t', '').replace(
                    '\n', '').replace(zipcode, '').replace(telephone, '')
                
            # 電話番号を掲載していなかった場合の処理
            except:
                telephone = 'NO TEL'
                locate = td_list[4].replace('\t', '').replace(
                    '\n', '').replace(zipcode, '')
                   
                                                  
            # 追記
            output.append([zipcode,locate,telephone,names[0],names[1]])
    # ページ内に[次のページ]を表す[>]が存在するかを判定
    # 存在した場合Trueが返ってくる為、if文が実行される(hrefの値が更新され次のページにループする)
    if soup.find(class_='pagebottom').find_all('a', attrs={'title': 'next page'}):
        # 取得したhrefは相対パスである為、16行目でウェブサイトURLと結合される
        href = soup.find(class_='pagebottom').find(
            'a', attrs={'title': 'next page'}).get('href')
    # 次のページが存在しなかった場合にはループが終了
    else:
        break
    # 短時間に連続してリクエストを送る行為はマナー違反且つサーバーへの負荷となる為
    # 標準ライブラリよりtimeモジュールを使用して1秒間隔でリクエストを送る様に調整
    time.sleep(1)

# 追記
with open('./京都.csv', 'w') as file:
    writer = csv.writer(file, lineterminator='\n')
    writer.writerows(output)
```

### 試したこと

①について、td_list[4]で分割したlocateに〓をつけようとしたのですが、その方法が良く分かりませんでした。
②について、法人名／事務所名は、td_list[5]ではないかと思って、色々と試しましたが、うまくいきませんでした。

