スクレイピングのコードにおいて、Swift2からSwift4に対応させる方法

前提・実現したいこと

お世話になります。

ログインが必要なページでのWebスクレイピングは、Swift4ではどのように実現すれば良いのでしょうか？（例えば、ヤフーのホームページにログインし、ログイン後の情報を取得する方法）

ちなみに、ログインの必要のないページは、Kannaというフレームワークを使ってスクレイピングする事ができています。

どなたかわかる方がいましたら、ご教授いただけないでしょうか？
よろしくお願いいたします。

試したこと

以前同じような質問をした方がいたので、この回答を参考に試しました。
https://teratail.com/questions/35792

しかしながら、この回答は恐らくswift2を前提に回答されていたので、
swiift4で実行するとエラーが出てしまいます。

Xcodeの自動修正機能を使っても修正仕切れない部分があります。

以前の回答（swift２前提）

swift2
1/** クッキーを取得 これだけでWebViewのCookieの取得が可能です*/
2        let storage = HTTPCookieStorage.shared
3        
4        /** クッキーのURL　例えば　　http://www.yahoo.co.jp/など　 */
5        let domain = NSURL(string: "スクレイピングしてくるURL")
6        
7        // 取得先のURL
8        let scrapingURL = NSURL(string: "該当のページURL")
9        
10        // Request
11        let request = NSMutableURLRequest(url: scrapingURL! as URL)
12        
13        // Cookieをセットして実際にスクレイピングする
14        if let cookie = storage.cookies(for: domain! as URL){
15            let header  = HTTPCookie.requestHeaderFields(with: cookie)
16            request.allHTTPHeaderFields = header
17            var data = NSURLConnection.sendSynchronousRequest(request, returningResponse:nil, error:nil)
18        }

Xcodeで自動修正後

swift4
1 /** クッキーを取得 これだけでWebViewのCookieの取得が可能です*/
2        let storage = HTTPCookieStorage.shared
3        
4        /** クッキーのURL　例えば　　http://www.yahoo.co.jp/など　 */
5        let domain = NSURL(string: "スクレイピングしてくるURL")
6        
7        // 取得先のURL
8        let scrapingURL = NSURL(string: "該当のページURL")
9        
10        // Request
11        let request = NSMutableURLRequest(url: scrapingURL! as URL)
12        
13        // Cookieをセットして実際にスクレイピングする
14        if let cookie = storage.cookies(for: domain! as URL){
15            let header  = HTTPCookie.requestHeaderFields(with: cookie)
16            request.allHTTPHeaderFields = header
17            var data = NSURLConnection.sendSynchronousRequest(request, returningResponse:nil, error:nil)
18        }

よろしくお願いします。

fuzzball

2019/02/25 03:47 編集

>>修正仕切れない部分どのように修正しきれないのでしょうか？また、スクレイピングがどうこうではなく、Swift2→Swift4の変換に関する質問でしたら、そのようにタイトルを修正して下さい。

ottilab

2019/02/25 03:22

ご指摘ありがとうございます。タイトルは修正いたします。また、上記に記載したXcodeで自動修正後のコードにおいて、 var data = NSURLConnection.sendSynchronousRequest(request, returningResponse:nil, error:nil) の部分でエラーが出ています。

行動規範の内容に同意します

回答1件

引数やエラー処理が変わっているので、そのエラー自体は、

swift
1NSURLConnection.sendSynchronousRequest(request, returning:nil)

で直りますが、NSURLConnection.sendSynchronousRequest(_:returning:)はdeperecated（非推奨）になっているので、URLSession.dataTask(with:completionHandler:)を使った方法に書き換えて下さい。

投稿2019/02/25 04:09

fuzzball

総合スコア16731

ottilab

2019/02/25 06:45 編集

ありがとうござます。 URLSession.dataTask(with:completionHandler:)を使った方法でエラーが消えました。実際にスクレイピングを試みるために以下のように修正しました。 ```swift /** クッキーを取得これだけでWebViewのCookieの取得が可能です*/ let storage = HTTPCookieStorage.shared /** クッキーのURL　例えば　　http://www.yahoo.co.jp/など　 */ let domain = NSURL(string: "http://www.yahoo.co.jp/") // 取得先のURL let scrapingURL = NSURL(string: "http://www.yahoo.co.jp/") // Request var request = URLRequest(url: scrapingURL! as URL) // Cookieをセットして実際にスクレイピングする if let cookie = storage.cookies(for: domain! as URL){ let header = HTTPCookie.requestHeaderFields(with: cookie) request.allHTTPHeaderFields = header let task = URLSession.shared.dataTask(with: request) { (data, response, error) in guard let data = data else { return } do { let object = try JSONSerialization.jsonObject(with: data, options: []) print(object) } catch let e { print(e) } } task.resume() ``` しかしながら、下記のエラーが出ています。 Error Domain=NSCocoaErrorDomain Code=3840 "JSON text did not start with array or object and option to allow fragments not set." UserInfo={NSDebugDescription=JSON text did not start with array or object and option to allow fragments not set.} ヤフーなどのページにログインをしてログイン後の情報を取得することは、この方法ではできないということでしょうか？