自然言語処理

自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

RSS

  • 受付中

    回答
    1

    tweepyでbotを排除して、tweetを取得したい。

    tweepyでtweetを大量に取得しています。その中にbotが含まれています。これを排除したいです。-botや-source:twittbot.netは試しましたが、それでもbotのtweetが紛れ込んできます。強力にbotを排除する方法を教えてください。 tweet = api.search(q = 'あいうえお -bot -source:twitt

    • -2評価
    • 56PV
    • Python

      3031questions

      Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

    • Twitter

      411questions

      Twitterは、140文字以内の「ツイート」と呼ばれる短文を投稿できるサービスです。Twitter上のほぼ全ての機能に対応するAPIが存在し、その関連サービスが多く公開されています。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    rtok rtok 2日前に 回答を編集

  • 受付中

    回答
    0

    tweepyで取得するtweetの定型文・テンプレート文を排除したい。

    tweepyでtweetを大量に取得しています。しかし、その中に定型文やテンプレート文のように似た形式のtweetが多数含まれます。これを排除したいです。tweepyでtweetを取得する際にフィルターを掛け排除するか、tweetを取得した後に排除するかは、どちらでもかまいません。分かる方教えてください。

    • -1評価
    • 26PV
    • Python

      3031questions

      Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

    • Twitter

      411questions

      Twitterは、140文字以内の「ツイート」と呼ばれる短文を投稿できるサービスです。Twitter上のほぼ全ての機能に対応するAPIが存在し、その関連サービスが多く公開されています。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    teratailが2日前に アップデート

  • 解決済

    回答
    1

    PythonでCaboChaを使い、文節(chunk)を抽出したい。

    PythonでCaboChaを使い、文節(chunk)を抽出したいです。tokenは抽出することができるのですが、文節(chunk)の抽出の仕方が分かりません。tokenとtokenを合体させて文節(chunk)とすることしかできないのでしょうか？ #!/usr/bin/python # -*- coding: utf-8 -*- import Cabo

    • 0評価
    • 43PV
    • Python

      3031questions

      Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    narinko narinko 2日前に 回答

  • 解決済

    回答
    1

    係り受け解析ツールCaboChaのPythonによるリファレンスが見つからない

    タイトルの通り、係り受け解析ツールCaboChaのPythonによるリファレンス、関数の使い方が載っているWebページが見つかりません。知っている方がいたら教えてください。

    • 0評価
    • 64PV
    • Python

      3031questions

      Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    ikedas ikedas 6日前に ベストアンサー

  • 解決済

    回答
    1

    pythonで対義語(反対語)を取得したい

    python上で類義語を取得したい時、「Wordnet」というものが扱われるようですが、対義語(反対語)を取得したい時は、どのようなツールがオススメですか？探してもなかなか見つかりません。 また、類義語に関しても「Wordnet」以外のものでオススメがあれば教えてください。 Weblio類語・対義語辞典がpython上で使えれば良いのですが…

    • 0評価
    • 99PV
    • Python

      3031questions

      Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    NCC1701 NCC1701 1週間前に ベストアンサー

  • 解決済

    回答
    2

    文書を数値化する方法

    文書を数値化する方法を探しています。 文書をベクトル化する方法はword2vecがあると思います。 ・文書がいくつか存在し、ある1つの方法でそれぞれの文書を数値化できる。 ・その数値はそれぞれの文書に固有の値である。 上記2つの条件を満たすような方法は考えられると思いますか？ ちなみに数値化というのはスカラー量でということです。

    • 0評価
    • 82PV
    • Python

      3031questions

      Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    kenkennn kenkennn 1ヶ月前に ベストアンサー

  • 解決済

    回答
    1

    テキスト分類のValueError: dimension mismatchの対処で困っています。。

    実現したいこと テキストデータ(仕事内容(20文字程度))をjanomeで形態素解析し、CountVectorizerで配列化し、sklearn.naive_bayes(MultinomialNB)で学習させ、仕事内容から仕事分類を予測したいです。 ※説明変数は仕事内容、目的変数は仕事分類、環境はpython3.6 困っていること 学習及び検証までは実施

    • 0評価
    • 130PV
    • Python 3.x

      1735questions

      Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    Ya.Tatsuro Ya.Tatsuro 1ヶ月前に コメント

  • 受付中

    回答
    1

    ニュース記事のDB構築

    私はYahoo!ニュースから様々な媒体のニュースをスクレイピングでテキストに保存して、テキストマイニングで分析をかけたいと考えていますが、そろそろ、記事がたまってきたのでデータベース化しようとしています。 データベースのカラム構成は次になります。 ・日時 ・時刻 ・媒体 ・見出し ・段落1 … ・最終段落 問題は段落の数がニュースの

    • 0評価
    • 170PV
    • MySQL

      3996questions

      MySQL（マイエスキューエル）は、TCX DataKonsultAB社などが開発するRDBMS（リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

    • MongoDB

      170questions

      MongoDBはオープンソースのドキュメント指向データベースの1つです。高性能で、多くのリトルエンディアンシステムを利用することができます。

    • NoSQL

      28questions

      NoSQL（not only SQL）は、リレーショナルデータベース管理システムとは異なるデータベースシステムを指す言葉です。

    • SQL

      1522questions

      SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    monolith_91 monolith_91 3ヶ月前に コメント

  • 解決済

    回答
    1

    pythonの文字コード系のエラーで困っています。

    前提・実現したいこと 自然言語処理のプログラムをpythonで書いています。エラーを消したいです。 発生している問題・エラーメッセージ エラーは文字コード関連です。ちなみにこのエラーは何度も実行しているとたまにエラーが出ないでプログラムが動くことがあります。 line 115, in tokenize yield node.surfa

    • 0評価
    • 310PV
    • Python 3.x

      1735questions

      Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

    • UTF-8

      65questions

      UTF-8は8ビット符号単位の文字符号化形式及び文字符号化スキームです。データ交換方式、ファイル形式としては、一般的にUTF-8が使われる傾向があります。

    • 文字コード

      139questions

      文字コードとは、文字や記号をコンピュータ上で使用するために用いられるバイト表現を指します。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    _Victorique__ _Victorique__ 5ヶ月前に ベストアンサー

  • 解決済

    回答
    1

    tf-idfにおける文書(document)とは

    tf-idf法を使いたいのですが、idfにおける一文書の単位はどのくらいにすれば良いのでしょうか？ ある単語のidf値を調べる場合、 idf = log(全文書数 / 単語が含まれる文書数) という式で求めるということになると思うのですが、ここでいう文書というのは、どのような単位で区切られているのかがわかりません。これの区切り方次第では文書数が変わって

    • 0評価
    • 187PV
    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    tetsutail tetsutail 5ヶ月前に コメント

  • 解決済

    回答
    2

    word2vecのエラーについて

    こちらを参考にpythonでword2vecを用いて読み込んだ文字列に対して類似性のある単語をしゅつりょくするプログラムを書きました。 しかし以下のようなエラーが出ます 多分そのような語彙が見つかっていないというエラーだと思いますが教師データに用いているファイルには確かに存在するのです。 参考にしたサイトでもちゃんと出力できているのに私の環境ではできな

    • 0評価
    • 849PV
    • Python

      3031questions

      Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

    • Python 2.7

      810questions

      Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。

    • プログラミング言語

      526questions

      プログラミング言語はパソコン上で実行することができるソースコードを記述する為に扱う言語の総称です。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    miyamoto0105 miyamoto0105 5ヶ月前に 回答

  • 解決済

    回答
    1

    TensorFlowでの訓練データについて(自然言語処理)

    Neural networkで何か作ってみたいと思い、チュートリアルを参考にして、自分で実装しようと思いました。 チュートリアルと同じことをやっても嫌だなと思ったので固有抽出表現というラベル付けの識別を自分で実装しています。チュートリアルと変わることは、入力するデータ型とくらいです。 チュートリアルでは入力は手書き文字の28x28の画像ベクトルでした

    • 0評価
    • 440PV
    • Python

      3031questions

      Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

    • 機械学習

      175questions

      機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    • TensorFlow

      229questions

    hiroto0227 hiroto0227 5ヶ月前に コメント

  • 解決済

    回答
    1

    スクレイピングで除外すべきタグについて

    現在テキスト分類器を作成しており、その際に疑問に思ったことについて質問したいと思います。 取得した文書を単語ごとにパースする際に、「var」「function」などのワードが多数含まれていることに気が付きました。この原因は、scriptタグの中身もパースためでした。 ほかにも、「ffffcc」などのstyleタグの中身も含まれていました。 このこと

    • 0評価
    • 348PV
    • Ruby

      4617questions

      Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

    • 機械学習

      175questions

      機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    mukkun mukkun 7ヶ月前に コメント

  • 解決済

    回答
    1

    ナイーブベイズを使ったテキスト分類について

    現在ナイーブベイズを用いたテキスト分類器を作成しています。その時に疑問に思ったことについてお聞きしたいと思います。 ナイーブベイズを用いたテキスト分類では、ドキュメントがカテゴリに分類される確率を、カテゴリをc、ドキュメンをdとすると、 P[c|d] = P[c]P[d|c]し、ドキュメントをBoWとして、ドキュメントに含まれる用語をtiとすると、P[d|

    • 0評価
    • 259PV
    • 機械学習

      175questions

      機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    MasashiKimura MasashiKimura 8ヶ月前に コメント

  • 受付中

    回答
    0

    word2vecの精度について

    word2vecの演算結果について適当な言葉と類似度比較をするとほとんどすべての語が類似度0.8〜0.9に属してしまいます。 学習データは分かち書きをした200文程度の文章で合計語彙は5000〜10000語、設定は text8corpusで読み込んだのち size=300〜500 もしくは5000程度で試しましたが結果は変わりませんでした。また実行のたび

    • 0評価
    • 435PV
    • Python

      3031questions

      Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    kkkmokotan kkkmokotan 1年以上前に 質問を編集

  • 受付中

    回答
    0

    gensimのimportエラーとsix.pyのバージョンアップ

    前提・実現したいこと pythonでgensimを使い関連語抽出と単語分類をしようとしています。 なので、まずgensimを使えるようとしているのですが「import gensim」ができません。 おそらくsix.pyのバージョンが古いままであることが原因であると思われるのですが、何時間経ってもエラーが消えません 発生している問題・エラーメッセー

    • 0評価
    • 782PV
    • Python 2.7

      810questions

      Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。

    • pip

      87questions

      pipとは、Pythonを用いて書かれているパッケージソフトのインストールや管理を行うためのパッケージマネジメントシステムです。pipを使う主なメリットは、コマンドラインインターフェースにて容易にPythonパッケージソフトをインストール可能だという点です。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    teratailが1年以上前に アップデート

  • 解決済

    回答
    1

    【python】ターミナル上で出力する文字列が符号化される

    はじめまして，自然言語処理の初心者です． http://www.cl.ecei.tohoku.ac.jp/nlp100/#sec00 現在，↑のサイトの2つ目の課題を行っているところです． 「パタトクカシーー」という文字列の1,3,5,7文字目を取り出して連結した文字列を得よ． という課題です． 困っていること プログラムをターミナル

    • 0評価
    • 367PV
    • Python 2.7

      810questions

      Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。

    • 文字コード

      139questions

      文字コードとは、文字や記号をコンピュータ上で使用するために用いられるバイト表現を指します。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    meg-teratail meg-teratail 1年以上前に コメント

  • 解決済

    回答
    1

    mecabの文字化けについて

    こちらのサイトを参考にしてMecabを使った自然言語を品詞に分解する処理をC++で記述しました. しかし出力が文字化けしてしまいます. 環境としてCentOS 6.7とMacOS EL Capitan で確認しましたがどちらも文字化けしました.辞書はjumandicを使っています 文字化けするだけでなく品詞分解もおかしい結果が出力されています. ちな

    • 0評価
    • 373PV
    • C++

      2180questions

      C++はC言語をもとにしてつくられた最もよく使われるマルチパラダイムプログラミング言語の1つです。オブジェクト指向、ジェネリック、命令型など広く対応しており、多目的に使用されています。

    • C++11

      99questions

      C++11は2011年に容認されたC++のISO標準です。以前のC++03に代わるもので、中枢の言語の変更・修正、標準ライブラリの拡張・改善を加えたものです。

    • Mecab

      72questions

      Mecabは、オープンソースの形態素解析エンジンです。 言語、辞書、コーパスに依存しない汎用的な設計を基本方針としています。 Mecabの由来は、開発者の好物である和布蕪（めかぶ）から名づけられました。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    rerere0507 rerere0507 1年以上前に 回答

  • 解決済

    回答
    2

    ツイートを集めてデータセットを利用したい

    Twitterのツイートをデータセットとして収集し利用したいです. 目的としてはツイートを自然言語解析をすることにより機械学習のプログラムの参考にしたいです. 自動でTwitter のツイートを大量に取得し保存する方法(もしくはこのようなデータを提供しているサイト)の情報を教えていただきたく思います.宜しくお願い致します.

    • 0評価
    • 730PV
    • Twitter

      411questions

      Twitterは、140文字以内の「ツイート」と呼ばれる短文を投稿できるサービスです。Twitter上のほぼ全ての機能に対応するAPIが存在し、その関連サービスが多く公開されています。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    • DataSet

      16questions

      DataSetは、ADO.NETアーキテクチャのコンポーネントです。データベースから取得したレコードをメモリ領域に格納するクラスを指します。データの保持やテーブル間のリレーション・制約といった保持も可能です。

    toma_kazusa 退会済みユーザー 1年以上前に ベストアンサー

  • 解決済

    回答
    1

    Apache Spark MLlib (Scala) による主成分分析

    Apache Spark MLlib (Scala)に関して質問させて下さい。 質問 Spark MLlibで主成分分析をしたいのですが、RDD[(String, String, Double)]をRowMatrixに変換するにはどうすれば良いでしょうか？ 下記の、データ変換のイメージをご参照いただき、そもそもやりたいことに対して、アプローチが

    • 1評価
    • 617PV
    • Scala

      133questions

      ScalaはJava仮想マシンで動作を行うオブジェクト指向型プログラミング言語の1つです。静的型付けの関数型言語で、コンパイルエラーの検出に強みがあります。

    • 機械学習

      175questions

      機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

    • Spark

      31questions

      Spark(Apache Spark)とは、膨大なデータを迅速、柔軟に分散並行処理を行うフレームワークです。分析ツールであるApache Hadoopと比較し、最大で100倍の速度でデータ処理ができるとされています。

    • 統計

      35questions

      統計は、集団現象を数量で把握することです。また、調査で得られた性質や傾向を数量的に表したデータのことをいいます。

    • 自然言語処理

      30questions

      自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

    Masaaki_Inaba Masaaki_Inaba 1年以上前に ベストアンサー
1
  • 1
  • 2

次のページchevron_right

タグ情報

  • あなたの順位

    -位

  • タグ登録者数

    53人

  • 総質問数

    30件

  • 今週の質問数

    3件

関連するタグ

  • Lucene

    2questions

    LeceneはJavaで記述されている全文検索エンジンのライブラリを指します。

  • Kibana

    12questions

    Kibanaとは、ElasticSearchをバックエンドとする、データを可視化するGUIツールです。

  • OpenGL ES

    30questions

    携帯電話のような組込み機器のためにデザインされたOpenGLのサブセットです。

  • Stash

    1questions

    Gitリポジトリを管理するサービス。 プロジェクト規模・ユーザー数などの増加に伴い、管理が難しくなるリポジトリを、サーバー上で一元的かつセキュアに管理できるサービスです。

  • Amazon VPC

    3questions

    Amazon VPC(Amazon Virtual Private Cloud) は、仮想的なネットワークです。 独自の IP アドレスレンジの選択、サブネットの作成、ルートテーブル、 ネットワークゲートウェイの設定など、仮想ネットワーク環境を完全にコントロール可能です。

  • CCAr

    1questions

    Cisco Certified Architect (CCAr)

  • GTK+

    9questions

    GTK+とはGUIを作るために作られた、とても使いやすく機能に富んだツールキットです。クロスプラットフォームによる互換性と、使いやすいAPIを備えています。

  • BASIC

    9questions

    BASICとは、手続き型言語の一つ。英語に準した簡易な記述になっており、基本的には初心者向けのプログラミング言語です。1970年代以降のコンピュータでよく使用された言語で、様々な拡張を加え現在も利用されています。

  • SMS

    4questions

    SMS(Short Message Service)は電話、ウェブやモバイルのコミュニケーションシステムで規格化されたテキストのコミュニケーションサービスです。固定回線間や携帯電話間で短い文章のやりとりをすることを可能にしています。

  • Amazon Elastic MapReduce

    2questions

    Amazon Elastic MapReduce（Amazon EMR）は、 Amazonが社が提供する 大量のデータを迅速、容易に処理が可能なウェブサービスです。

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る