[Swift]WebページのFORMへPOSTし、結果を配列に保存したい

Question

iPhoneであるサイトにデータを送信し、結果を取得し配列に保存したいです。

対象サイトは
https://licenseif.mhlw.go.jp/search_isei/　の左側の一般向けの方です。

htmlソースコードより、frameを用いていることを理解し、
実際の表示ページは
-> https://licenseif.mhlw.go.jp/search_isei/jsp/top.jsp
POSTされる先は
-> https://licenseif.mhlw.go.jp/search_isei/jsp/search.do
と判明しています。

POSTされる中身も、

1. syokusyu
2. seibetsu
3. name
4. expireKey/

の４つと理解しました。

そこで下記のようなテストコードを作りました。
storyboardではNavigationControllerにembedし、
右にUIBarButtonを配置し、実行ボタンをつけました。

// ViewController.swift
import UIKit
import WebKit

class ViewController: UIViewController, WKNavigationDelegate {

    var webView = WKWebView()
    
    override func viewDidLoad() {
        super.viewDidLoad()
        // Do any additional setup after loading the view, typically from a nib.
        // frame: CGRect(x: 0, y: 0, width: self.view.frame.size.width, height: self.view.frame.size.height)
        self.webView = WKWebView()

        let url0 = URL(string: "https://licenseif.mhlw.go.jp/search_isei/jsp/top.jsp")
        let myRequest = URLRequest(url: url0!)
        webView.load(myRequest)
        
        self.view.addSubview(self.webView)
    }
    
    @IBAction func naviBtnPressed(_ sender: Any) {
        webView.evaluateJavaScript("document.documentElement.outerHTML.toString()",
                                   completionHandler: { (html: Any?, error: Error?) in
                                    //print(html as! String)
               let htmlSource = html as! String
               let search = "<input type=\"hidden\" name=\"expireKey\" value=\""
               if let range = htmlSource.range(of: search) {
               let start = range.upperBound
               let key = htmlSource[htmlSource.index(start, offsetBy: 0)..<htmlSource.index(start, offsetBy: 32)]
               print("key:", key)
                                        
               let postData1 = "shokushu=1&seibetu=1&name=佐藤　大輔&expireKey=(key)"
                                        
               var request = URLRequest(url: URL(string: "https://licenseif.mhlw.go.jp/search_isei/jsp/search.do")!)
               request.httpMethod = "POST"
               request.httpBody = postData1.data(using: .utf8)
                                        
               let task = URLSession.shared.dataTask(with: request, completionHandler: {
                   (data, response, error) in
                                            
                   if error != nil {
                       print(error!)
                       return
                   }
                                            
                   print("response: (response!)")
                   let phpOutput = String(data: data!, encoding: .utf8)!
                   print("php output: (phpOutput)")
               })
               task.resume()
           } else {
               print("文字列は見つかりませんでした。")
           }                        
        })
    }
}

しかし、うまく取得できません。
swiftのコードよりも、htmlのFORMのPOSTがうまくできていなく？感じます。
search.doのコードの中身が見えないので、
そもそもPOSTできないって場合もありえますか？
アドバイス等いただけると嬉しいです。

P.S.関係ないですが、結果の氏名を画像で返してくるあたりいやらしいですよね(^_^;)
取得しずらくしているつもりなのかな？

【追記】

肝心の得られた結果を記載していませんでした。

key: 1efe6c8cf197023f1641ddf9c91bf92
response: Optional(<NSHTTPURLResponse: 0x280f515a0> { URL: https://licenseif.mhlw.go.jp/search_isei/jsp/search.do } { Status Code: 200, Headers {
    "Cache-Control" =     (
        "no-cache"
    );
    Connection =     (
        "Keep-Alive"
    );
    "Content-Language" =     (
        "ja-JP"
    );
    "Content-Length" =     (
        3420
    );
    "Content-Type" =     (
        "text/html;charset=Windows-31J"
    );
    Date =     (
        "Fri, 18 Jan 2019 05:21:20 GMT"
    );
    Expires =     (
        "Fri, 18 Jan 2019 05:21:20 GMT"
    );
    "Keep-Alive" =     (
        "timeout=5, max=100"
    );
    Pragma =     (
        "no-cache"
    );
    "Set-Cookie" =     (
        "JSESSIONID=D8EBAB81912A6B31218C7C6A4BE3DA96; Path=/search_isei; HttpOnly",
        "TS0148a66e=01819adb30e42012537fe353de47362bb469da438beb99be39aef16250f355c70dcc11ba00; Path=/",
        "TS013eb5f3=01819adb304b861905bd8b996036dbf97689182c6641d41ff8eee0131c0c776fd953ef6a92a65e7b3bd9fa491789ade01730b1c3c1; path=/search_isei"
    );
} })
data:Optional(3420 bytes)
(lldb) 

// となり、以下の行にエラーが吐かれます。
let phpOutput = String(data: data!, encoding: .utf8)!
Thread 11: Fatal error: Unexpectedly found nil while unwrapping an Optional value

dataに3420 bytesもデータがあるのに、nilが見つかるのは、
encodingが間違っているからですか？
"Content-Type" = ("text/html;charset=Windows-31J")
と返答がくることを考えると、utf8ではなく、
windows-31Jでencodeしなきゃいけないと言うことでしょうか？

Comments

[fuzzball]

氏名の完全一致で検索するのに、結果の氏名が画像であることになにか問題でも？

[hameji001]

いや、結果的に問題はないんですが、
結果も文字列なら、データを配列に一度に登録しやすいなと思ったまでです。

[fuzzball]

>>utf8ではなく、windows-31Jでencodeしなきゃいけないと言うことでしょうか？
してみれば分かることでは？

[hameji001]

おっしゃる通りなんですが、
https://ja.stackoverflow.com/questions/32636/swift3%E3%81%A7sjis%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%9Furl%E3%82%A8%E3%83%B3%E3%82%B3%E3%83%BC%E3%83%89%E3%82%92%E3%81%97%E3%81%9F%E3%81%84

上記サイトの
extension String.Encoding { static let windows31j = **** }
を用いて今も行おうとしていますが、うまく変換の書き方がわからなく、
格闘中で、ヒントをいただけないかと期待して、聞いてしまいました。
すみません。

[hameji001]

と言ってる側から
let phpOutput = String(data: data!, encoding: String.Encoding.windows31J)!
と書くことで、結果をうまく得ることができました！！！

[fuzzball]

解決したようなのでアレですが、とりあえず確認する程度であれば .shiftJIS でいけるんじゃないかと思いまして、いけたら真面目にwindows-31J対応する、という流れで考えていました。

Answer 1

外部から叩いていいかという問題が一番懸念されますが、そこはクリアされているのでしょうか？
以前図書館のシステムを外部から叩いて結果的に逮捕された方がいらっしゃった気がしたので、お気をつけください。

参考：
岡崎市立中央図書館事件

HTTPはよくわからないですが、少なくともフォームでPOSTする事と同等の処理はしないとダメそうという事は言えるかと思います。

引用：パーセントエンコーディング

HTTPのPOSTメソッドでWebフォームの文字列を送信する場合に、文字列はエンコードして送信される。その際の符号化方法はMIMEのContent-Typeがapplication/x-www-form-urlencodedで指定される。この符号化方法をURLエンコードと言うことがある。

によるとPOSTでも文字列はパーセントエンコードした方が良さそうなのと、
Content-Typeもapplication/x-www-form-urlencodedに指定しないと駄目かなと思われます。

P.S.関係ないですが、結果の氏名を画像で返してくるあたりいやらしいですよね(^_^;)
取得しずらくしているつもりなのかな？

国が作っているシステムであれば、名前を正式名称で正しく表示するために画像化しているという推測もできます（異体字、結合文字を利用者側で正しく表示できるとは限らないため）。

Comments

[hameji001]

回答ありがとうございます。
takabosoftさんの回答により、なんかと実現にまでたどり着けました。
とはいえ、「そんな氏名の人はいません」と言う結果でしたので、
もしかしたら、最初の送る際のエンコードもwindows31Jで送るべきなのかもしれません。
それはおいおいちょっと試してみます。

アクセスに関しては、
ブラウザから入力して、結果を得るのと同じつもりで、
ユーザーに入力してもらったものからアクセスするつもりですが、
外部から叩いてると判定されてしまいますよね。
定期実行の常駐プログラムにはするつもりはないので、
頻度はユーザーが検索した毎、
毎回違うIPアドレスからにはなりそうですが、、、
厳密にいえば、きっとダメですよね、、、
また考え直します。

とても参考になりましたが、今回はベストアンサーに選ばなくてすみません。

Answer 2

なんとか、無事に結果を得ることができました。
途中いくつか修正を要しました。

takabosoftさんの指摘の通り、POSTの中身を%エンコードディングにする必要があった。
また、

request.addValue("application/x-www-form-urlencoded", forHTTPHeaderField: "Content-Type")

を追記した。

その他、判明したことはexpireKeyの長さが、アクセス毎に変わることがあるため、
keyの抽出に工夫が必要(開始点はOKだが、終了点を長めにとり、「"」以降を除くようにコードすることが必要。)

他に返答に"Content-Type" = ("text/html;charset=Windows-31J")とあったので、
.utf8でencodeではなく、windows31Jにする必要があった。

最後に、takabosoftさんの指摘通り、
これを実際に使えるかは、外部からアクセスしていいかと言う問題があるので、
再度よく検討します。

ちなみに、POSTの%エンコーディングもWindows-31Jで行う必要がありました。
それによりきちんとした検索結果のソースがデバッグエリアに表示されるようになりました。