Q&A
これくらいは聞いてもいいとか考えるのもいいのですが、基本的に不十分すぎる(何かを調べようとした努力の跡が一切見えない)感じですね。
jawiki-20221120-categorylinks.sql.gzをダウンロードしましたが、普通にdb構築できましたよ。
sqlite> .table
categorylinks
sqlite> select count(*) from categorylinks;
12384441
sqlite>
wikipediaの全文データから特定カテゴリに属する記事のテキストを抽出したいと考えています。
そのために、まずは以下の記事通りに
Sqliteでカテゴリー構造データ（jawiki-latest-categorylinks.sql.gz）をDBに移行しました⇩
https://qiita.com/YuukiMiyoshi/items/c345a357ac7025515694
しかし、移行後、DBに存在するはずのテーブルが確認できませんでした。(".tables"とコマンドを打ってもテーブルが表示されない)
ネットにはカテゴリー構造データ（jawiki-latest-categorylinks.sql.gz）は以下のカラムで構成されたテーブルがあると書かれています。
cl_from、cl_to varchar、cl_sortkey、cl_timestamp
(http://www.mwsoft.jp/programming/munou/wikipedia_data_list.html#categorylinks.sqlより引用)
そのテーブルを利用するにはどうすればいいのでしょうか。
ご教授いただけますと幸いです。
###試してみたこと###
①./mysql2sqlite jawiki-latest-categorylinks.sql | sqlite3 wikipedia.db でコマンド実行
②2時間ほどで処理が完了→「2011-07-01 01:11:20','こくさいてきなきようりよくのもとにきせいやくふつにかかるふせいこういをしよちようするこういとうのほうしをはかるためのまやくおよひこうせいしんやくとりしまりほうとうのとくれ','uppercase','page'),(24618,'日本における麻薬及び向精神薬取締','こ....」といった感じでリストが列挙され、「 input record number 66, file jawiki-latest-categorylinks.sql source line number 111」とターミナルに書かれてるため処理完了？
③いざデータベースを確認してみると、
・ファイルは0バイトとなっている
・sqliteを立ち上げて、「.tables」でテーブルを確認してもテーブルがない様子
###追記
指摘していただいたので確認いたしましたら、
towc: multibyte conversion failure on: '?'というマルチバイト変換？エラーが出ており、調べてみました。
ubuntuのようなLinux系OSではなく、macosをつかっているからエラーがでた模様...??
https://developer.apple.com/forums/thread/705559
上記の同じエラーが出ている記事を読んでみましたがよく理解できませんでした
本当ですか!?
sqlite> .table
と打ってもtableが出てこないんですよね...
今、もう一度データベースを構築し直しています。
うまくいかなかったら、再度試してみたことを追記して質問内容を訂正いたします！ありがとうございます。
出力されている内容は恐らくエラーですよ。それを調べないと意味がないです。
出力内容を全て正確に貼りましょう。
とりあえずmacタグとawkタグ付けとこう
了解です！タグつけてみました
sqliteだとネットの情報がすくないので、mysqlの環境でもためしてみようかなと思います！がんばってみます
mac持ってないので分かりませんが、mysql2sqliteがawkで書かれているんだけど多分
https://developer.apple.com/forums/thread/705559
のような現象で、何か問題が発生してるんだと思います。文字コード変換の問題っぽく、これを直せば直る問題なのかも分かりません。
とりあえず返信にあるオープンソース版のawkを試すというのもありですが、mysqlでもいいですね。
いっそLinux入れるでもいいけど・・・何にせよ手元にない環境では何ともしようがありません。
私はこれで失礼しますね。
ご丁寧にありがとうございます！
貴重なお時間を頂戴してしまい、大変恐縮です、、。
とりあえず、いまmysqlの環境を整え、リベンジしてる最中です！
いろいろとお力添えいただき、本当にありがとうございました！
あなたの回答
tips
プレビュー
