芋の独り言

当ブログへのアクセスは当ブログのプライバシーポリシーに同意したものとみなします.

Python3

日本語文字の抽出

pip install regex >>> import regex >>> nihonji = regex.compile(r'(\p{Script=Han}|\p{Script=Hiragana}|\p{Script=Katakana})+') >>> test = "あ㋐アア亜aAあ㋐アア亜aA" >>> nihonji.search(test) <regex.Match object; span=(0, 5), match='あ㋐アア亜'> >>> nihonji.search(test).span() (0, 5) >>> nihonji.s</regex.match>…

Pythonは本を買わなくても学べるかも

codezine.jp っとあるように上記サイトのリンクから京大のレポジトリの講義資料がPDFでダウンロードできます. プログラミング演習 Python 2019 | 京都大学学術情報レポジトリ紅 コンピュータの歴史から始まり,基礎的なコトがまとめられていて, ページ数と…

Spyder4が日本語表示なってない場合

WindowsでAnacondaでPythonをインストールすると, Spyderという開発環境が自動で入っています. その代わりIDLEが使えない... まぁ,Anacondaのフォルダの中のScriptsというフォルダ内に一応IDLEの実行ファイルがあり, 使えるのですが,起動すると,バ…

wxPythonで日付を扱う

>>> import wx >>> import dateutil.parser >>> t = dateutil.parser.parse('2011-03-14 23:29:52.0') >>> wx.DateTime(t) <wx.DateTime: "Mon Mar 14 23:29:52 2011"> フォーマットが分かってる場合はdatetimeでもいいんですが,dateutil.parser.parseはフォーマットを指定せずとも文字列から日付のデ</wx.datetime:>…

菅田将暉さん主演の”アルキメデスの大戦”を見たので...

”月曜から夜更かし”で桐谷さんが紹介していた”アルキメデスの大戦”視ました~ 面白かったですネ. 菅田将暉さん演じる数学の天才が大日本帝国が戦争へと向かうのを阻止するために, 米の大学行きを取り止め, 舘ひろしさん演じる山本五十六の元で数学を駆使…

Pythonリンクメモ Windows印刷編

Pythonから文字列を印刷したいな~,それもWindowsで. っと思い,参考になるかな~というサイトを以下に箇条書きに. PythonからWindows Spoolerをctypesで叩く - 試行錯誤と創意工夫(S!アプリ開発日記+α) Kosei Kitahara's Blog: Python から Win32 API…

【Python3】requestsとmechanizeの対応表

aiohttpで並列クローリングは,並列処理について基礎からPythonでのやり方に関して知っていないと使いこなせません. 現に私は理解できず使うのを今は断念... まぁ,同時に複数アクセスなら並列でなくともできます. 簡単なことです. コマンドプロンプト…

Pythonでいつの間にか入っていた気になるモジュール

何かのモジュールを入れる際に付属してインストールされたんだと思いますが, 改めてモジュール名を見てみると気になったものがあったのでメモっときます. 今のところ使う場面はなさそうですが... Babel データを国際化したりローカル化したりと翻訳する…

テキスト分割するだけ

テキストを一文字ずつ考え得るパターンに分割するスクリプト. 使い道はあんまりない. def text_split(text:str)->list: text_list = set() for i in range(len(text)): for j in range(i,len(text)): text_list.add(text[i:j+1]) text_list = list(text_li…

Python(requests)でニコニコ大百科内検索

Pythonのスクリプトでニコニコ大百科の単語検索が行えるスクリプトです. import requests,pprint from bs4 import BeautifulSoup as bs def nico_search(p1,p2,query): def url_get(data): d = [] for j in data: if len(j.find_all("a")) 試し実行すると以…

Python(requests)でWikipedia検索を

www.mediawiki.org 以上のサンプル コードのURLをちょこっと変えたり,後で処理しやすいように少しばかり整形しただけです. import requests,pprint def wiki_search(query): wiki = "https://ja.wikipedia.org/w/api.php" params = { "action": "opensearc…

あるサイトからの画像ダウンロード

まんだらけとメロンブックスの商品(同人誌とか)の画像をダウンロードするスクリプト. 気になる商品のメモとして使うなど. # -*- coding: utf-8 -*- from bs4 import BeautifulSoup as bs import os,requests # 保存先フォルダを選択 def path(): import …

最近Pythonを使って思ったこと:読み込みより書き込みの方が時間がかかる

大きめのサイズのテキストデータをPythonで処理したく,スクリプトを書いて,実行しているのですが, 対辺時間がかかってしまいます. さらに,メモリ消費も大きいためにノートPCで実行すると,大抵の場合,処理の途中でMemoryErrorが出てしまいます. ノー…

最長共通部分文字列 LCS: Longest Common Substring

※間違いがあればご指摘ください 最長共通部分列 LCS: Longest Common Subsequence と 最小編集距離 SED: Shortest Edit Distance というものがあります. 以下では文字列を扱うので,”部分列 subsequence”というよりは”部分文字列 substring”というわけです…

技術が邪悪なのではない.それを悪用するヒト種の心が邪悪なのだ.

ディープフェイクに関する動画 tool テクノロジーが邪悪なのではない ディープフェイクに関する動画 ディープフェイクのAIに頼んで自分をハリーポッターに登場させたり自分自身と結婚させたりするZAO 【ディープフェイク】赤ちゃんにハライチ澤部の顔を当て…

クイックソート

新・明解C言語で学ぶアルゴリズムとデータ構造 (明解シリーズ)作者:柴田 望洋出版社/メーカー: SBクリエイティブ発売日: 2017/02/08メディア: 単行本 の228~233ページに書いてある”クイックソート”をPythonで再現してみました. こんなことしなくても,ソー…

WSL:anyenvでPython環境構築してwxPythonを使う

anyenv ~$ cd ~$ git clone https://github.com/anyenv/anyenv ~/.anyenv ~$ sudo nano .bashrc # anyenv setting export PATH=${PATH}:${HOME}/.anyenv/bin eval "$(anyenv init -)" ~$ exit 次に,Windows側でPowerShell(もしくはコマンドプロンプト)を…

使うことはないけど使ってみたいPythonモジュール

どこかのサイトにPythonのモジュールのまとめ記事みたいのがあったんですが, その中でも気になったものを軽く調べて以下に示しておきます. exp-runner :Pythonでのデータ分析および機械学習実験のためのシンプルで拡張可能なフレームワーク(Google翻訳)…

某サイトのサンプル画像の取得

import requests from bs4 import BeautifulSoup as bs import os,wx,sys from time import sleep def req_get(url): while True: try: res = requests.get(url, timeout=(3.0, 7.5)) except (requests.exceptions.Timeout,requests.exceptions.ConnectionEr…

LSI/LSAのための行列演算の復習

固有値分解と特異値分解をPythonで.

Python:キーボードからの読み込み

コンソールへのデータ出力時にカーソルキー移動できたらなぁっと思い,調べた結果, キーボードからキー入力はPython標準のライブラリmsvcrtでできるとのこと. 単純にキー入力を読み込むだけなら,以上のモジュールのimportでよいってことです. tkinterと…

データ解析系資料リンクまとめ

SildeShareでPCAとかで検索して, 見つけたスライド にあるリンクを色々辿ったら, データ解析で役立つ資料とかがあったんで,そのリンク等をメモっときます. 私自身は読まないかもしれないけど... PCA_lecture Github版.こっちのZipファイルでダウンロ…

R+Jupyter(Anaconda)の環境構築メモ

環境は通常のWindows10です まず,以下より各ソフトのインストーラー(exeファイル)をダウンロードし,各ソフトをインストールします. インストールしておかないと,”R console”でのコマンド入力で必ずエラーを吐きます... インストールする際にPathも自動…

何かフリーズしたみたいに全然応答が返ってこない...→Timeout設定を忘れてませんか?

requestsを使っていると,getすると応答がなく,フリーズしたみたいにスクリプトが止まってしまうことがあり, その度に手動でスクリプトを強制的に終わらせてました... 毎回毎回手動で終了させるのはメンドすぎる.どうすればいいんだってことでググったら…

はてなブログ(マークダウン記法)でのコードの載っけ方

(私の)今までのやり方 見つけた新しいやり方 次の手 (私の)今までのやり方 ``` python print('mdashfsaohcxzinhcnisdhvnisuhdfnudsgsnzgucnINxIYGBZCnunzguINcgnxzuyuygcusdygsdgfsdngcuicuycnuivzivnuxxnuk') ``` とやっていて,以下のように表示させて…

ニコニコ動画へPython自動ログイン

公式動画へのコメント鳥を試していたら,いくつかのモジュールでログインまでは出来たんで,まとめておきます. requests selenium mechanize Robobrowser 参考 requests # -*- coding: utf-8 -*- import requests from time import sleep url = "取得したい…

ニコニコ動画のコメントの取得方法(selenium):未完だけども...

Downloads - ChromeDriver - WebDriver for Chrome niconico利用規約 - niconico ニコニコ活動ガイドライン‐niconico 以上では特にニコニコ動画でクローリング+スクレイピングは禁止していない.ただ,禁則事項に ・「niconico」のサーバーに過度の負担を及ぼ…

アクセスのし過ぎには注意!節度あるスクレイピング生活を

【保存版】Pythonでスクレイピングする方法を初心者向けに徹底解説!【サンプルコードあり】 | DAINOTE スクレイピングの倫理①海外のトラブル事例 - Qiita Webスクレイピングの注意事項一覧 - Qiita Webスクレイピングの法律周りの話をしよう! - Qiita 【ス…

Windowsでpipできないとき用メモ:Python初歩

以前Pythonさわり初めの時,Windowsでpipが使えなくて困ったことがあって,色々ググって調べて解決できたわけですが, そのときのメモを今更ながら発見したんで,記事にしておこうかなと. どこのサイトを参考にしたのか忘れちゃったので,すみませんが,参…

YouTubeダウンローダ― with Python

kusoimox.hatenablog.jp 以前うpした記事で,pytubeでYouTubeの動画がダウンロードできる~とい言ったんですが,最近久しぶりに使うと, itagは取れるんだけど,動画のダウンロードでエラーが出て,使えなくなちゃった... そこで,調べると, なぜかPytube…