芋の独り言

当ブログへのアクセスは当ブログのプライバシーポリシーに同意したものとみなします.

NLP

Pythonメモ:新語・流行語大賞の一覧取得

「現代用語の基礎知識」選 ユーキャン 新語・流行語大賞の一覧が欲しいなぁと思った時,いちいちネット開いて手作業でワードを取っていくのは面倒だと感じ, Pythonでやることにしました. rangeの引数は適宜変更するとして,以下で,新語・流行語大賞のワー…

Ubuntuに言語処理関連ツールをインストールする方法まとめ④

kusoimox.hatenablog.jp でも書きましたが,こっちの方がよいかと思い,改めて形態素解析器をPythonから呼び出すスクリプトを紹介します. def choice_analysis() -> str: analysis = input('choice analysis:') if analysis == 'mecab': dic = input('dic t…

情報検索(Information Research: IR)システムの評価指標:精度と再現率

NLP

予備知識 調和平均 集合演算 評価指標 参考 予備知識 調和平均 通常のイメージして使う平均は算術平均 arithmetic meanと呼ばれ, と定義されます. これに対し,調和平均 harmonic meansは と定義されます.比の平均を求める場合は調和平均を使ったほうが妥…

形態素解析結果の表示の違いまとめ

NLP

kusoimox.hatenablog.jp で用意したMeCabとJUMAN++での形態素解析結果の表示の違いについて,メモ程度にまとめておこうかと思います. # mecab-ipadic-neologd 野獣先輩 名詞,固有名詞,一般,*,*,*,野獣先輩,ヤジュウセンパイ,ヤジューセンパイ # mecab-unidi…

Ubuntuに言語処理関連ツールをインストールする方法まとめ③

”MeCab以外からneologd辞書を使えるようにする”のが今回のテーマ. とはいえ,mecab辞書と形式が違うために,除外しなければならないワードもあり,neologd辞書をそのまま使えるように したわけではありません.その点を注意していただきたいと思います. ま…

平均κ値

NLP

自然言語処理(NLP)で”平均κ値”というものを指標として使ってる論文があったりします. ”平均κ値”とググっても,”平均κ値”の説明は特に出てこないが,”κ係数”というのは見つかります. ということで,その論文での”平均κ値”の使い方を見るに, ”平均κ値”は”…

IBMが提供してるソフト

www.ibm.com この前に投稿した記事でもAIについて少し触れたが,AIブームの先駆け的存在のWatsonのAPIって一般の人でも登録すれば使えるんですよねぇ.上記のサイトがそうだと思うんだけど... 自然言語処理:NLPやその他にも使えるソフトが無償版としていく…

論理・集合記号について簡単なまとめ

pとqは論理数学では命題のことで,Python等のプログラミングにおける論理演算では変数のことです. 記号 Pythonでの演算子 意味 p ⋁ q p or q 論理和:pまたはq.pかqのどちらか一方が真である. p ⋀ q p and q 論理積:pかつq.pとqの両方が真である. p ̅ …

現段階のAIは,全て”まぼろし~”

参考1にあるように,今AIと呼ばれているものには,技術だけでなく,現段階の技術を用いて作られた製品も含めて呼んでしまっている. 人工知能(Artificial Intelligence:AI)は一分野もしくは技術を指すものであって,製品のことではない.私の手元にある20…

Ubuntuに言語処理関連ツールをインストールする方法まとめ②

Pythonで形態素解析器を使おう 今回は前回インストールした形態素解析器とそれをPythonで使うためのモジュールを練習として使ってみましょう. インストール方法は前回の記事を参照してください.また,参照記事も前回の記事に載ってますので,確認していた…

Ubuntuに言語処理関連ツールをインストールする方法まとめ①

Ubuntu環境を作成し,そこに日本語形態素解析器をインストールしていきます.各種サイトのまとめ記事的な感じです.