芋の独り言

当ブログへのアクセスは当ブログのプライバシーポリシーに同意したものとみなします.

Python3

Python:キーボードからの読み込み

コンソールへのデータ出力時にカーソルキー移動できたらなぁっと思い,調べた結果, キーボードからキー入力はPython標準のライブラリmsvcrtでできるとのこと. 単純にキー入力を読み込むだけなら,以上のモジュールのimportでよいってことです. tkinterと…

データ解析系資料リンクまとめ

SildeShareでPCAとかで検索して, 見つけたスライド にあるリンクを色々辿ったら, データ解析で役立つ資料とかがあったんで,そのリンク等をメモっときます. 私自身は読まないかもしれないけど... PCA_lecture Github版.こっちのZipファイルでダウンロ…

R+Jupyter(Anaconda)の環境構築メモ

環境は通常のWindows10です まず,以下より各ソフトのインストーラー(exeファイル)をダウンロードし,各ソフトをインストールします. インストールしておかないと,”R console”でのコマンド入力で必ずエラーを吐きます... インストールする際にPathも自動…

何かフリーズしたみたいに全然応答が返ってこない...→Timeout設定を忘れてませんか?

requestsを使っていると,getすると応答がなく,フリーズしたみたいにスクリプトが止まってしまうことがあり, その度に手動でスクリプトを強制的に終わらせてました... 毎回毎回手動で終了させるのはメンドすぎる.どうすればいいんだってことでググったら…

はてなブログ(マークダウン記法)でのコードの載っけ方

(私の)今までのやり方 見つけた新しいやり方 次の手 (私の)今までのやり方 ``` python print('mdashfsaohcxzinhcnisdhvnisuhdfnudsgsnzgucnINxIYGBZCnunzguINcgnxzuyuygcusdygsdgfsdngcuicuycnuivzivnuxxnuk') ``` とやっていて,以下のように表示させて…

ニコニコ動画へPython自動ログイン

公式動画へのコメント鳥を試していたら,いくつかのモジュールでログインまでは出来たんで,まとめておきます. requests selenium mechanize Robobrowser 参考 requests # -*- coding: utf-8 -*- import requests from time import sleep url = "取得したい…

ニコニコ動画のコメントの取得方法(selenium):未完だけども...

Downloads - ChromeDriver - WebDriver for Chrome niconico利用規約 - niconico ニコニコ活動ガイドライン‐niconico 以上では特にニコニコ動画でクローリング+スクレイピングは禁止していない.ただ,禁則事項に ・「niconico」のサーバーに過度の負担を及ぼ…

アクセスのし過ぎには注意!節度あるスクレイピング生活を

【保存版】Pythonでスクレイピングする方法を初心者向けに徹底解説!【サンプルコードあり】 | DAINOTE スクレイピングの倫理①海外のトラブル事例 - Qiita Webスクレイピングの注意事項一覧 - Qiita Webスクレイピングの法律周りの話をしよう! - Qiita 【ス…

Windowsでpipできないとき用メモ:Python初歩

以前Pythonさわり初めの時,Windowsでpipが使えなくて困ったことがあって,色々ググって調べて解決できたわけですが, そのときのメモを今更ながら発見したんで,記事にしておこうかなと. どこのサイトを参考にしたのか忘れちゃったので,すみませんが,参…

YouTubeダウンローダ― with Python

kusoimox.hatenablog.jp 以前うpした記事で,pytubeでYouTubeの動画がダウンロードできる~とい言ったんですが,最近久しぶりに使うと, itagは取れるんだけど,動画のダウンロードでエラーが出て,使えなくなちゃった... そこで,調べると, なぜかPytube…

Pythonメモ:新語・流行語大賞の一覧取得

「現代用語の基礎知識」選 ユーキャン 新語・流行語大賞の一覧が欲しいなぁと思った時,いちいちネット開いて手作業でワードを取っていくのは面倒だと感じ, Pythonでやることにしました. rangeの引数は適宜変更するとして,以下で,新語・流行語大賞のワー…

Pythonでtsファイルの結合

Pythonでのやり方は私の知る限り二つ. とはいえ,前者に関しては雑な結合だと思うので,オススメはしません. 後者は”ffmpeg.exe”を使う方法で,どっかからダウンロードしてくる必要があります. あと,私はPCにインストールとかパスを追加するとか,そうい…

pythonの内包表記メモ

qiita.com リスト内包表記あるんだから,辞書型でも使えないのかなぁと思ってググったら,以上の記事を見つけた. 先駆者様がおられたわけですが,以上の記事の補足というか単なるメモとして本記事を書いておこうと思います. dict内包表記 >>> res = {x:0 f…

Python list私的メモ

要素の削除 remove 余談:helpでリストの使い方を見る&一度に要素を複数削除する方法 del 要素の検索 重複する要素の表示と削除 余談 要素の削除 remove >>> p=[5,7,2,8,3,None,None,None,7,None] >>> len(p) 10 >>> p.remove(None) >>> p [5, 7, 2, 8, 3, …

pandas 私的メモ3

要素からindex名を 余談:pd.Panel 余談:空のデータフレーム 要素からindex名を pandas.core.panel.Panel:3次元(立体) indexなし columnsなし ↓抽出 ↑結合? pandas.core.frame.DataFrame:2次元(平面) indexあり columnsあり ↓抽出 ↑結合(concatな…

Ubuntuに言語処理関連ツールをインストールする方法まとめ④

kusoimox.hatenablog.jp でも書きましたが,こっちの方がよいかと思い,改めて形態素解析器をPythonから呼び出すスクリプトを紹介します. def choice_analysis() -> str: analysis = input('choice analysis:') if analysis == 'mecab': dic = input('dic t…

pandas 私的メモ2

axis=0で列(columnsもしくは縦),axis=1で行(indexもしくは横)... →行列においては,行 rowが横,列 columnが縦のラインを指す.indexは索引の意,数学では指数の意. csvファイルの読み込み(列名・行名あり) 転置 合計値を出したり... 行の追加 参考 …

Ubuntuに言語処理関連ツールをインストールする方法まとめ③

”MeCab以外からneologd辞書を使えるようにする”のが今回のテーマ. とはいえ,mecab辞書と形式が違うために,除外しなければならないワードもあり,neologd辞書をそのまま使えるように したわけではありません.その点を注意していただきたいと思います. ま…

pandasにneというメソッドがあるらしい

”pandas”について, pandasに関する情報 | note.nkmk.me でまとめられているのは覚えてたんだけど,サイト名を思い出せず,確かneko~みたいな感じだったかな~と思って, ”pandas ne”とググったら,下記のサイトを見つけた. Python | Pandas dataframe.ne()…

pandas 私的メモ

簡単なpandasデータの作り方 データフレーム スライシングの方法 例 まとめ いくつかのデータの統合 csv出力 以前自身がやってたやり方 pandasでのやり方 列数が一定でないcsvの読み込み 参考 簡単なpandasデータの作り方 >>> import pandas as pd >>> twod_…

PythonとEEGでググった結果

MNE — MNE 0.18.2 documentation 加算平均波形の表示 https://www.researchgate.net/post/What_is_The_best_EEG_signal_processing_package_in_python 【Python】EEG(脳波)をカオス時系列解析、takensの埋め込み定理「1章」 - FUNC-RETURN GitHub - hadri…

論理・集合記号について簡単なまとめ

pとqは論理数学では命題のことで,Python等のプログラミングにおける論理演算では変数のことです. 記号 Pythonでの演算子 意味 p ⋁ q p or q 論理和:pまたはq.pかqのどちらか一方が真である. p ⋀ q p and q 論理積:pかつq.pとqの両方が真である. p ̅ …

YouTube動画のダウンロード

YouTube動画をダウンロードして,PC上のオフライン環境に保存していつでも見たいと思うことありますよね?そんな時にPythonには強力な味方がいます. それはpytubeというモジュールです.では使ってみましょう.上手くいかない時はpip install --upgrade pyt…

LOVOTの紹介とサイトから画像をダウンロードする方法

LOVOTは”情熱大陸”,”超AI入門 シーズン2”,”王様のブランチ”で紹介されていた,癒し系ロボットです.私は一視聴者としてこれらの番組で紹介されているのを見て,欲しいなぁと思い, この記事にてちょっとした紹介をと思いました.LOVOTは家事といったような…

インターネットから画像をクローリング・スクレイピング

”http://~/1”,” http://~/2”・・・と連番になっているサイトから画像をダウンロードするのに有効なツール,というかスクリプトです.個人的に使ってます. スクリプトをいじってくれれば,応用できるかと思いますね. まぁ,簡単なスクリプトの説明としては…

PythonでTwitterからキーワード検索でツイート文を収集する

kusoimox.hatenablog.jp 前記事では,毎時(秒かな?それとももっと短い間隔かもしれないが...)ランダムにツイート文を収集するスクリプトでした.今回はキーワード検索で得られるツイート文を一週間程度 遡って収集するスクリプトになります.キーワード検…

TwitterをPythonで24時間観察てきな?

前提条件として,consumer_keyとかは各自で用意してください.あと,Python環境とtweepyのインストールも. 以下のスクリプトで,毎時ランダムにツイートを取得します.ランダムなので,言語や場所は様々.ツイートを取得した後で, 言語を指定してフィルタ…

スリープ抑止スクリプト?

hateda.hatenadiary.jp 以上のサイトを参考に,というかほぼそのままかな...ってな感じで書いたスクリプトです.他にも参考にしたとこあったかも... GUIはWxPythonを使ってます. wxPython | Python-izmとかを参考に,随時調べながら書きました. 本当はポッ…

Ubuntuに言語処理関連ツールをインストールする方法まとめ②

Pythonで形態素解析器を使おう 今回は前回インストールした形態素解析器とそれをPythonで使うためのモジュールを練習として使ってみましょう. インストール方法は前回の記事を参照してください.また,参照記事も前回の記事に載ってますので,確認していた…

Ubuntuに言語処理関連ツールをインストールする方法まとめ①

Ubuntu環境を作成し,そこに日本語形態素解析器をインストールしていきます.各種サイトのまとめ記事的な感じです.