Q&A
WebスクレイピングあるサイトのすべてのURLを取得することを考えたのですが、サイトマップがさるサイトではそこを参考にしたり、teratailやstackoverflowであればすべての記事のURLが番号なのでリンクエラー含めて総当たりで取得することも可能な気がしてます。
対して、qiitaやqoraなどのサイトはスクレイピング対策？なのか無意味な文字列でURLを表現していてサイトマップもない？ように見受けられます。
このようなサイトでもそのサイトの全記事URL取得する方法はございますでしょうか？
回答1件
0
qiitaはサイトマップありますね
https://cdn.qiita.com/sitemap-https/sitemap.xml.gz
quoraはhttps://jp.quora.com/graphqlでクエリ投げれば取得できそうですね
いずれにせよ利用規約を確認しないといけないですね
投稿2021/10/31 05:19
総合スコア872
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。