質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
CSS3

CSS(Cascading Style Sheet)の第3版です。CSS3と略されることが多いです。色やデザインを柔軟に変更することが可能になります。

HTML5

HTML5 (Hyper Text Markup Language、バージョン 5)は、マークアップ言語であるHTMLの第5版です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

Q&A

解決済

2回答

611閲覧

robots.txtで全てが構文エラーになる

jyun_ko

総合スコア2

CSS3

CSS(Cascading Style Sheet)の第3版です。CSS3と略されることが多いです。色やデザインを柔軟に変更することが可能になります。

HTML5

HTML5 (Hyper Text Markup Language、バージョン 5)は、マークアップ言語であるHTMLの第5版です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

0グッド

0クリップ

投稿2022/08/25 03:34

編集2022/08/25 03:41

前提

既存のhtmlサイトから新しくリニューアルを行いました。
サイト構成の変更などは.htaccessなどでRewrite対応しています。
使用言語:html css javascript(jquery)
現在、lighthouseで確認したところ
SEO部にrobots.txtにエラーが出ています。
robots.txtは設置していません。(robots.txt テスターで確認しました)
xmlサイトマップは設置してあります。
Googleサーチコンソールのほうでは登録申請に問題もなく、エラーが出ている原因が分からない状態です。

実現したいこと

robots.txtでエラーが出ないようにしたい

発生している問題・エラーメッセージ

robots.txt is not valid 222 errors found
If your robots.txt file is malformed, crawlers may not be able to understand how you want your website to be crawled or indexed. Learn more.
Line #
Content
Error
1

<!doctype html>

Syntax not understood
2

<html> Syntax not understood 4 <head> Syntax not understood 5 <meta charset="UTF-8"> Syntax not understood 6 <meta name="viewport" content="width=device-width, initial-scale=1"> Syntax not understood

lighthuose内のエラー画像

翻訳

robots.txt は有効ではありません 222 個のエラーが見つかりました
robots.txt ファイルの形式が正しくない場合、ウェブサイトのクロールまたはインデックス登録の方法をクローラーが理解できない可能性があります。詳細をご覧ください。
ライン #
コンテンツ
エラー
1

<!doctype html>

構文が理解できません
2

<html> 構文が理解できません 4 <頭> 構文が理解できません 5 <メタ文字セット="UTF-8"> 構文が理解できません 6 <meta name="viewport" content="width=device-width, initial-scale=1"> 構文が理解できません ### 該当のソースコード

試したこと

まっさらな新しいhtmlファイルを作成しエラーが起きている同じディレクトリに設置してみましたが、
全く同じ222のエラーが吐き出されます。

<!DOCTYPE html> <html lang="ja"> <head> <meta charset="utf-8"> <title>サイトタイトル</title> <meta name="description" content="サイトの概要を記載"> <link rel="stylesheet" href="style.css"> </head> <body> コンテンツを記載 </body> </html>

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

ベストアンサー

1つ考えられる可能性として、robots.txtを置いていない結果として、404のHTMLなど何かしらのレスポンスが返されている、ということが考えられます。

逆に空のrobots.txtを置くことでエラーを抑制するような手段も考えられます。

投稿2022/08/25 03:47

maisumakun

総合スコア145183

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

jyun_ko

2022/08/25 04:03

このたびはご回答ありがとうございます。 仰られたとおり404.htmlを設置しており、robots.txtを設置したところエラーが無くなりました。 本当にありがとうございました。
guest

0

example.com/robots.txt が存在していないから、404 のエラーページが返されているのでしょう。
何も書かれていない、robots.txt を設置すればOKです。

投稿2022/08/25 03:47

phper.k

総合スコア3923

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

jyun_ko

2022/08/25 04:05

このたびはご回答ありがとうございます。 全く同じ時間の投稿で二つともを選べなかったのですが私の中ではベストアンサーです。 何も書いていないrobots.txtで解決いたしました。 本当にありがとうございました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問