mwSoft blog

requestsを使ってAPIからデータ取ろうと思った時に調べたこと。 続きを読む

jobidのParallelを使うと便利らしい

$ sudo pip install joblib

何か元になるDataFrameがあったとする。 続きを読む

以前も同じ問題に引っかかったけど、3Dでplotしようとすると下記のエラーが出た。

AttributeError: 'module' object has no attribute '_string_to_bool'

こんなtsvがあったとする。 続きを読む

こんなDataFrameがあったとする。 続きを読む

毎回、import numpy as npとか打つのが面倒になったので、起動時に必要なコマンドは自動実行してしまうことにする。

下記のディレクトリに適当なファイル（startup.ipyとか）を作れば、そこに記述したコードがスタートアップ時に実行される。 続きを読む

DataFrameのランダムソートをしようと思った時に、これまでは apply(lambda x: np.random.random()) みたいなことをしてランダムなカラムを作ってソートをしてたんだけど、もっといいやり方がStackOverFlow先生に良いやり方が書いてあった。

http://stackoverflow.com/questions/15772009/shuffling-permutating-a-dataframe-in-pandas 続きを読む

こんなDataFrameがあったとする。 続きを読む

何行かエラーレコードが混じってる場合、astypeで型を変えようとしても落ちる。

例えば下記は1つ目のカラムが数値、2つ目のカラムが文字列を想定していたけど、途中、数値が入るべきところに文字が入ってしまっている。 続きを読む

pythonのlistからインデックス指定で要素を取ろうとしたけど要素がなかった場合にデフォルト値を返したい。そんな時にどう書くと良いのかわからなかったので調べる。こんな感じで良いんだろうか。 続きを読む

下記のようなエラー。 続きを読む

ランダム値を持つ列を追加したかった。 続きを読む

「あれ、この前書いたソースコードどこやったっけ……。あー、そういえばipythonで書いてどこにも書き写してないや」みたいな時に、ipythonのhistoryをまとめ読みしたくなることってありますよね。

historyコマンドだと一度セッションを終了すると以前のセッションは出てこない。でもhistoryファイルには前セッションの内容も残っている。セッションをまたいでhistoryを取る方法もありそうな気がするけど、さらっと検索した限りだと見当たらなかったので、historyファイルを参照することにしてみる。 続きを読む

3Dでplotしようと思ってサンプルコード通りに書いてみたところ、下記のようなエラーが出る。

AttributeError: 'module' object has no attribute '_string_to_bool'

どうやらpipでインストールする際に3Dも入れる設定をしないといけないらしい。

$ pip insatll --upgrade matplotlib[mplot3d]

上記を実行したら普通に動いた。

前に動かした時は特に3D用に入れた記憶がないのだけど、以前からこうだったっけ。apt-getで入れたから違うとかあるのかな。

とりあえず下記で設定できる。

import matplotlib
# matplotlibのデフォルトフォントをTakaoGothicに設定
font = {'family' : 'TakaoGothic'}
matplotlib.rc('font', **font)

TakaoGothicのようなフォント名は、fc-listで出力されたものを使用。

$ fc-list | grep Takao
/usr/share/fonts/truetype/takao-mincho/TakaoExMincho.ttf: TakaoEx明朝,TakaoExMincho:style=Regular
/usr/share/fonts/truetype/takao-mincho/TakaoPMincho.ttf: Takao P明朝,TakaoPMincho:style=Regular
/usr/share/fonts/truetype/fonts-japanese-gothic.ttf: Takao Pゴシック,TakaoPGothic:style=Regular
/usr/share/fonts/truetype/takao-gothic/TakaoExGothic.ttf: TakaoExゴシック,TakaoExGothic:style=Regular
/usr/share/fonts/truetype/fonts-japanese-mincho.ttf: Takao P明朝,TakaoPMincho:style=Regular
/usr/share/fonts/truetype/takao-gothic/TakaoPGothic.ttf: Takao Pゴシック,TakaoPGothic:style=Regular
/usr/share/fonts/truetype/takao-gothic/TakaoGothic.ttf: Takaoゴシック,TakaoGothic:style=Regular
/usr/share/fonts/truetype/takao-mincho/TakaoMincho.ttf: Takao明朝,TakaoMincho:style=Regular

よし、これで次に忘れた時はすぐ見つかるだろう。

エラーメッセージは下記

numpy.distutils.system_info.NotFoundError: no lapack/blas resources found

atlasもlapackもblasも入れてなかった。

yumで入れる。

yum install atlas-devel lapack-devel blas-devel

これで通った。

sortして連番になっていたindexが乱れた時に振り直す想定。

続きを読む

下記のようなエラーが出た場合。

ImportError: cannot import name _tkagg

tk-devを入れてmatplotlibを入れ直したら動くようになった。

下記、Ubuntuの場合

# tk-devを入れる
sudo apt-get install tk-dev
# matplotlibの入れ直し
sudo pip uninstall matplotlib
sudo pip install matplotlib

公式サイトにインストール手順的なものは載っている。
http://docs.opencv.org/trunk/doc/tutorials/introduction/linux_install/linux_install.html

が、この手順でインストールを進めると、configureでffmpegがないと言われたり、makeでpython周りで落ちたりとうまく入らなかった。 続きを読む

numpy

import numpy as np
np.version.full_version
  #=> '1.8.1'

google-api-python-clientとpandasを一緒に入れると、バージョンによってはpandasがimportできなくなるらしい。続きを読む

日本の祝祭日の情報が欲しかったんだけど、あまり良いAPIが見当たらなかったので、Google CalendarのAPIから取得することにする。こういう情報は国がcsvでもなんでも良いからさらっと提供してくれると助かるのだけど。 続きを読む

# -*- coding: utf-8 -*-
# ↑ おまじない
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
# ↑ おまじない

requestsを入れておくこと。

$ pip3 requests

PDFの情報をテキストファイルで落としたかったので、URLを指定してテキストに変換するような簡単なスクリプトを書く。

すっかりご無沙汰でどうやって書くか忘れてしまったPythonさんを利用。そうか、xrangeはもうなかったか。

テキストの抽出にはxpdfを利用。以下、Ubuntuの場合。続きを読む