芋の独り言

当ブログへのアクセスは当ブログのプライバシーポリシーに同意したものとみなします.

NLP

つぶやき

NLP

johokiko.co.jp 内容としては気になるんだが, ページ数のわりに値段が高すぎない? 400ページ近くの深層学習でも4万しなかったと思うんだが... ページ数か値段が一桁間違ってない? あと,コレはこのサイトからしか買えないのか? たまたま見つけたわけ…

WSLでNeologd辞書をWidonws環境に

kusoimox.hatenablog.jp でやっていることをWSLでやるだけなんですが, wgetのトコロで以下のエラーが出て止まっちゃいました... wgetコマンドでsegmentation fault (core dumped)が出たときの対処法(続きからダウンロード再開) - Qiita wgetでsegmenta…

YouTubeのコメントAPI

NLP

は取得できるようですね~ 言語資源として確保できるならしたいところですが, GoogleのAPIを使うことで取得できるようです. YouTube Data API(※Googleアカウントでのログインが必要) Implementation: Comments | YouTube Data API | Google Developers Y…

偽陽性と偽陰性~条件付確率の復習(同時確率,周辺確率,独立性)=>検査神話はアカンで!

偽陽性と偽陰性からデータを見極めろ! 追記:(統計的)確率として考えよう ベイズの定理 補足 周辺確率と同時確率 条件付確率 ベイズの定理(公式) 条件付確率の例題:火曜日生まれの男の子(女の子) 二人の子供のうち,一方が男の子の場合,もう一方も…

最長共通部分文字列 LCS: Longest Common Substring

※間違いがあればご指摘ください 最長共通部分列 LCS: Longest Common Subsequence と 最小編集距離 SED: Shortest Edit Distance というものがあります. 以下では文字列を扱うので,”部分列 subsequence”というよりは”部分文字列 substring”というわけです…

オススメYouTube動画+自動字幕

NLP

YouTubeの自動翻訳がサイコパス過ぎるww この動画,最近視聴した中でもダントツに面白いwww これはヤバいですね... 揚げ足取りになってしまうのですが,”自動翻訳”でなく,”字幕-自動生成”ですね. YouTubeで動画を見る際の設定の字幕を”日本語(自…

LSI/LSAのための行列演算の復習

固有値分解と特異値分解をPythonで.

Pythonメモ:新語・流行語大賞の一覧取得

「現代用語の基礎知識」選 ユーキャン 新語・流行語大賞の一覧が欲しいなぁと思った時,いちいちネット開いて手作業でワードを取っていくのは面倒だと感じ, Pythonでやることにしました. rangeの引数は適宜変更するとして,以下で,新語・流行語大賞のワー…

Ubuntuに言語処理関連ツールをインストールする方法まとめ④

kusoimox.hatenablog.jp でも書きましたが,こっちの方がよいかと思い,改めて形態素解析器をPythonから呼び出すスクリプトを紹介します. def choice_analysis() -> str: analysis = input('choice analysis:') if analysis == 'mecab': dic = input('dic t…

情報検索(Information Research: IR)システムの評価指標:精度と再現率

NLP

予備知識 調和平均 集合演算 評価指標 参考 予備知識 調和平均 通常のイメージして使う平均は算術平均 arithmetic meanと呼ばれ, と定義されます. これに対し,調和平均 harmonic meansは と定義されます.比の平均を求める場合は調和平均を使ったほうが妥…

形態素解析結果の表示の違いまとめ

NLP

kusoimox.hatenablog.jp で用意したMeCabとJUMAN++での形態素解析結果の表示の違いについて,メモ程度にまとめておこうかと思います. # mecab-ipadic-neologd 野獣先輩 名詞,固有名詞,一般,*,*,*,野獣先輩,ヤジュウセンパイ,ヤジューセンパイ # mecab-unidi…

Ubuntuに言語処理関連ツールをインストールする方法まとめ③

”MeCab以外からneologd辞書を使えるようにする”のが今回のテーマ. とはいえ,mecab辞書と形式が違うために,除外しなければならないワードもあり,neologd辞書をそのまま使えるように したわけではありません.その点を注意していただきたいと思います. ま…

平均κ値

NLP

自然言語処理(NLP)で”平均κ値”というものを指標として使ってる論文があったりします. ”平均κ値”とググっても,”平均κ値”の説明は特に出てこないが,”κ係数”というのは見つかります. ということで,その論文での”平均κ値”の使い方を見るに, ”平均κ値”は”…

IBMが提供してるソフト

NLP

www.ibm.com この前に投稿した記事でもAIについて少し触れたが,AIブームの先駆け的存在のWatsonのAPIって一般の人でも登録すれば使えるんですよねぇ.上記のサイトがそうだと思うんだけど... 自然言語処理:NLPやその他にも使えるソフトが無償版としていく…

論理・集合記号について簡単なまとめ

pとqは論理数学では命題のことで,Python等のプログラミングにおける論理演算では変数のことです. 記号 Pythonでの演算子 意味 p ⋁ q p or q 論理和:pまたはq.pかqのどちらか一方が真である. p ⋀ q p and q 論理積:pかつq.pとqの両方が真である. p ̅ …

現段階のAIは,全て”まぼろし~”

NLP

参考1にあるように,今AIと呼ばれているものには,技術だけでなく,現段階の技術を用いて作られた製品も含めて呼んでしまっている. 人工知能(Artificial Intelligence:AI)は一分野もしくは技術を指すものであって,製品のことではない.私の手元にある20…

Ubuntuに言語処理関連ツールをインストールする方法まとめ②

Pythonで形態素解析器を使おう 今回は前回インストールした形態素解析器とそれをPythonで使うためのモジュールを練習として使ってみましょう. インストール方法は前回の記事を参照してください.また,参照記事も前回の記事に載ってますので,確認していた…

Ubuntuに言語処理関連ツールをインストールする方法まとめ①

Ubuntu環境を作成し,そこに日本語形態素解析器をインストールしていきます.各種サイトのまとめ記事的な感じです.