以下のようなアプリを作成したいのですが、色々なサイトから情報を取ってくるためにどのような技術が必要でしょうか??
まとめサイトはRSSの取得が主流でしょうか?それともスクレイピングしているのでしょうか??
気になる質問をクリップする
クリップした質問は、後からいつでもMYページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
回答2件
0
ベストアンサー
まとめサイトはRSSの取得が主流でしょうか?
それともスクレイピングしているのでしょうか??
(ライブラリがあれば)RSSの方が簡単なので、まずRSSだけで作って、
作りつつ、スクレイピングの技術も調べるのが、私のオススメです。
(さらに、機械学習によるページの選別とか、より高度な手法も視野に入れつつ)
RSSやスクレイピングに限らないですけど、開発の選択肢で迷ったら、
簡単なプロトタイプから作り始めて、段階的に拡張するのがオススメです。
ポール・グレアムも、「粗雑なプロトタイプを素早く作れ」(大意)みたいなことを言ってます。
アジャイル的なやり方で、とくに小規模開発、個人開発にはピッタリだと思います。
簡単なものを作ってバージョンアップしながら、
まとめサイトでは何が主流なのか、といった開発環境や市場の情報も集めていくんです。
たとえば、わりと使いやすいAPIを見つけたので、そこからも取得しようとか。
逆に、最初から完璧なものを作ろうとしても、「早すぎる最適化」で、
いろいろ非効率な部分が出てきてしまいます。
作りながら調べると、実装コストを判断しやすいんです。
だから、(Web)サービスと一緒に自分も成長していく、
というのがアジャイル的な成功パターンです。
色々なサイトから情報を取ってくるために
どのような技術が必要でしょうか??
クローラー技術の各論については、最近書いた上記記事を参照してください。
箇条書きの簡単なものですが、より詳細な部分は検索などで調べてください。
投稿2017/12/24 21:27
総合スコア5592
0
私もまとめサイトを巡回していくサイトをプログラムの勉強目的で作成しているのですが
スクレイピング+MYSQLを使用して簡単に表示されるものを作り
その後から徐々に機能を追加していきました。
まずはスクレイピングで
ブログの記事タイトル・記事URL・画像を取得してMYSQLを使ってデータベースに保存
HTML上に表示する際には
「日付時刻」の順番に並び替えを行ったり
簡単なアクセス解析を作成して
ブログから当サイトへの訪問者の人数や
当サイトからブログへ送った人数を計測して「返還率」を出して
その返還率を元に登録ブログの記事を表示する順番を並び替えたり
後はRSSを発行する際にも
条件分岐を作って優先順位を決めて当サイトへの貢献度が高いブログへとアクセスを送れるにとか
作れば作る程に「必要な機能」がどんどん出てくるので
プログラムの勉強目的にでもとても良い教材になると実感しています。
頑張ってください。応援しています。
投稿2017/12/25 16:10
編集2017/12/25 16:18総合スコア98
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
あなたの回答
tips
太字
斜体
打ち消し線
見出し
引用テキストの挿入
コードの挿入
リンクの挿入
リストの挿入
番号リストの挿入
表の挿入
水平線の挿入
プレビュー
質問の解決につながる回答をしましょう。 サンプルコードなど、より具体的な説明があると質問者の理解の助けになります。 また、読む側のことを考えた、分かりやすい文章を心がけましょう。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2017/12/25 16:20
2017/12/25 21:27
2017/12/27 06:48