Q&A
このケースのHTTPレスポンスヘッダのContent-Typeはtext/htmlでしかないので、(HTML4.01なので)ASCIIコードが仮定されるはずですが、HTTPレスポンスボディのHTMLの中のMETAタグでcharsetの指定があるので、ブラウザとしてはUTF-8で表示することになります。
https://www.w3.org/TR/html401/charset.html#h-5.2.2
GASでWEBページの文字コードを取るため以下のようなコードを書きました。
javascript
1 var res=UrlFetchApp.fetch(入力URL); 2 const headers = res.getHeaders(); 3 Logger.log(headers); 4 const contentType = headers['Content-Type'].replace(/\s+/g, ''); 5 //Logger.log(contentType); 6 const indexOfCharset = contentType.indexOf('charset='); 7 const indexOfCharset2 = contentType.indexOf('CHARSET='); 8 var code="" 9 if(indexOfCharset>=0) 10 code=contentType.substring(indexOfCharset + 8); 11 else if(indexOfCharset2>0) 12 code=contentType.substring(indexOfCharset2 + 8);
でこの出力された文字コードを見ていますがよく失敗している。
たとえば
http://boumurou.world.coocan.jp/island/
このページでやると
HEADERの値が
{Server=Apache, Last-Modified=Fri, 13 Jan 2017 08:13:39 GMT, Accept-Ranges=bytes, Date=Mon, 17 Aug 2020 07:27:59 GMT, Content-Length=7664, Content-Type=text/html, ETag="1df0-545f569485559", Connection=keep-alive}
となり、UTF-8がとれてないが、実際にページの内容をブラウザーで見ると
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
となっている。
なぜ取れないページがあるのだろうか？というのが質問です。
なお当然取れるページもあります。
コードとしてはこの後本文をよむわけですが、結論としては適当なコードを指定して
res.getContentText();
としたあとメタタグから文字コードを取り出してもう一度それで
res.getContentText(＊＊＊);
とするしかないって意味ですか？
何のために何をしているのか分からないので、何の結論か分かりませんが、私が説明したのはブラウザーで見れる理由です。
ブラウザーと同じ仕様に従うならきちんとHTMLをパースして調べることになるでしょうね。
私がHTTPの仕組みを理解してませんでした。ヘッダーの内容は本文の＜HEAD＞＜/HEAD>と常に一致すると思い込んでました。仕組みがわかったので解決とします。
回答1件
0
ベストアンサー
なぜ取れないページがあるのだろうか？というのが質問です。
サーバがサボってContent-Type: text/htmlだけで送っている、ということもあります。
投稿2020/08/17 07:51
総合スコア146018
HTMLのパーサー系のライブラリがいくつかあると思いますがそれを使うと、ボケないのだろか？とおもいすがどうでしょうか？答えずらいこと書いてすみません
あなたの回答
tips
プレビュー
