Fessサーバのwebクロール設定

オンプレサーバにてワークフローを検索するためのFessサーバをクラウド移行すべく、AWSにWindows Server2019のEC２を立ててweb検索が出来る環境を構築しようとしています。

サーバにIISの機能を追加し、セットアップ手順に沿ってJAVAとFessをインストールし、Fessのログインは出来るようになりました。
次に、クローラの設定を現行のFessサーバを参考にしてURLや検索対象の設定を入れたのですが、
検索しても何も引っかからない状態です。

現行のサーバはsitemap.htmlにてワークフローのHTMLファイルを定義しており、
それを踏襲したのですがダメでした。

Fessを起動しない状態なら、IISで規定のドキュメントとして追加すればlocalhost:8080/sitemap.htmlで対象のsitemapは表示できるのですが、Fessを起動するとIISで指定した物理パス上に配置したsitemapは表示できないため、Fessの設定コンフィグでsitemapを指定する必要があるのではないかと思うのですが、どの様に指定するか不明な状態です。

Fessの「fess.in.bat」上に以下の記述を見つけたのでパスの指定を変更できるかと思ったのですが、
現行稼働中のサーバではsitemap.htmlを配置していないパスを指していました。
「set FESS_JAVA_OPTS=%FESS_JAVA_OPTS% -Dfess.webapp.path=%FESS_HOME%\app」

何をどのように設定すればWebクロールが可能かアドバイスを頂ければ幸いです。

参考にしたサイト
・Fessのセットアップ手順
https://fess.codelibs.org/ja/setup.html
・webクロールに関する設定（sitemapについての記述あり）
https://fess.codelibs.org/ja/2.0/admin/webCrawlingConfig-guide.html
・Windows環境でFessを使用する方法のメモ
http://malog-notes.blogspot.com/2014/12/windowsfess.html

yutampp

2019/12/19 03:53 編集

sitemap.html云々とは関係ないような・・・。まずwebクロールというのは、WEBページとしてアクセスできる（HTTPあるいはHTTPSで参照可能なリソースということ）ものを片っ端からアクセスして、いい感じにDBに突っ込むことを言います。そのうえで、単純な話、「FESSからみて、その検索対象のサイトはアクセスできる状態か？」というところがスタート点かな、と思います。アクセスできるなら、「クロール対象とするURL」が正規表現になってないとかありがちです。たとえば、ヤフーなら、 URL　→　https://www.yahoo.co.jp/ クロール対象とするURL　→　https://www.yahoo.co.jp/.* とする必要があります。ワイルドカード文字だと思い込んで、クロール対象とするURL　→　https://www.yahoo.co.jp/* とすると動作しません。あとは、FESSの管理画面からシステム情報→ジョブログや障害URLを確認すると、エラーの原因が分かったりします。

ryosu-k

2019/12/19 11:48

ご指摘頂きありがとうございます。ジョブログにて、IISのバインドで利用しているポートとfessのデフォルトポート8080が重複しているため事象が発生しているのかと思い、それぞれのポートを分けてみましたが、検索しても何もヒットしませんでした。 URLとクロール対象とするURLを上記のヤフーの例と全く同じに設定しても何もヒットしない状況です。ブラウザでヤフーのURLを入れれば普通にヤフーは見ることが出来るのですが。

yutampp

2019/12/19 13:18

検索しても何もヒットしませんでした。というところに、引っ掛かりを感じます。二度目になりますが、 webクロールとは.検索対象のサイトをクロールして、その結果をDB（正確にはelasticsaerchという非DBですが）につっこむことです。検索するのはそのDBの中身です。検索をかけた時に、fessがそのサイトにアクセスして検索すると思っているならそれは間違いです。クロールは実行しましたか？サイトの規模にもよりますが、かなり時間がかかります。クロールが終わらないと検索してもそりゃあヒット数ゼロに決まってます。管理画面のシステム情報→ジョブログでクロールが終わってるか確認してください。

yutampp

2019/12/19 13:40

それともう一つ、Fessはクロールにも検索処理にも、CPUとメモリのリソースを食います。ワークフローサーバー？かなにかは私の読解力では分かりませんでしたが、とにかく同居させるのはおすすめしません。

ryosu-k

2019/12/20 05:15 編集

ご指摘ありがとうございます。 DBがあることは認識しておりましたが構成を理解しておらずfessが対象サイトにアクセスして検索するというイメージでおりました。クロールを再実行してから検索することで対象サイトがヒットするようになりました。