Webサイトのアーキテクチャの調べ方を教えて下さい

Question

■背景

以下リンクのように、特定のサイトで使用されているテクノロジーを紹介する記事を見て、果たして外部の人間がどのようにアーキテクチャを調べているのか、疑問に思いました。

10 Popular Sites Made With Django

■質問

曖昧になるのを防ぐために、実在するサイトを例にお尋ねしたいと思います。

Scores and Stats

上記のサイトで、
①どのようなテクノロジーやフレームワークが使用されているか
②どうやってそれら①が使用されていることを確認されたか

を教えていただけると誠にありがたいです。小さなヒントでも大歓迎です。

例えば、使用言語やデータベースの種類など、以下のようなイメージでわかることなら何でも構いません。
PHP、Python、MySQL、Django、Scrapyなどなど。

ソース: slideshare.net

・イメージ2
ソース: twitter.com

■質問者のスキル

• ChromeデベロッパーツールでHTML,CSSの大まかな構成を確認できる程度
• スクレイピングについて独習しており、お手本になりそうなサイトの構成を分析する入り口のところでつまずいています。

Answer 1

簡単なものとしては、ブラウザに組み込むWappalyzerというツールがあって、使っているフレームワークやライブラリを検出できます。

Comments

[fukazume]

早速ありがとうございます！即インストールし、かなりの内容を1クリックで知ることできました。

ちなみにデータベースの種類（例: MySQL）など、もう少しだけ深く知ることは出来ますでしょうか？

そもそもそういったことまで技術的に第三者が可能なものかもわからないままお聞きしているのですが。申し訳ございません。

[maisumakun]

データベースの種類は基本的にわかりません…が、たとえば「WordPressはMySQL専用」といった事情で間接的に判明することもあります。

https://teratail.com/questions/148568 （少し前にあった、関連する質問）

[fukazume]

度々ありがとうございます。「何が」「どこまでわかるか」をご指南いただき大変ありがたいです。間接的に類推する件の例も、初心者にとってとても理解しやすかったです。

Answer 2

基本的にはWEBサーバのレスポンスやHTML(JavaScript,CSS)から判別するしかありません。
直接分からなくても癖のようなものから判別できるかもしれません。
しかしながら、セキュリティホールになり得るので通常は隠します。

スクレイピングがしたいとのことですが、具体的にはどのようなことをされたいのでしょうか？

Comments

[fukazume]

ご回答ありがとうございます！

①先日「公開されているサイトからGoogle Apps Scriptでスプレッドシートに特定の情報を抽出してまとめる」という風なチュートリアルを行い、スクレイピングに興味を持ちました。
②その中で、PythonやScrapyといった技術を知り
③更にitem pipelineという箇所（以下リンク図のような）はどのように設計されているのか基礎知識も少ないまま興味を持ってしまい
④こちらでお手本となるサイトでのアーキテクチャ調べ方を質問させていただいた、という経緯です。

Scrapyについては、スクレイピング結果をcsv、JSONファイルやDBに出力できるところまでは理解できましたが、実際のサイトでは出力データはDBで処理、運用されているのでは？、との推測から今回の質問に至りました。

■Scrapy周辺の処理フロー
https://i.pinimg.com/originals/8c/59/1d/8c591d54457bb033812a2b0364011e9c.png

[tabuu]

>実際のサイトでは出力データはDBで処理、運用されているのでは？
そうですね、目的によると思いますが一般的にはDBを使います。
一時的に保管するだけであればファイルにすることもありますし、
毎回最新の情報を取得するのであれば保管しない場合もあります。

ご自身で作成されるのであれば目的に合わせて保管方法を固定するか、
オプションで選べるようにするのがいいと思います。

[fukazume]

ありがとうございます。後々の参考にさせていただきます！