mwSoft blog

領収書整理の季節。Amazonの領収書をPDFで出力したものが大量にある。これを1枚ずつ印刷するのはたいへんだるいので、結合して1枚のpdfファイルにして印刷したかった。

pdfjamを使えばいけた。

$ sudo apt-get install pdfjam
$ pdfjam *.pdf -o output.pdf

PyCallでnumpyを呼ぼうとしたら、No module named numpyと言われてしまった。

using PyCall
@pyimport numpy
  #=> ERROR: PyError (:PyImport_ImportModule) 
  #=> ImportError('No module named numpy',)

原因はうちの環境ではpythonとpython3コマンドが同居しているのだけど、python3側にしかnumpy等が入っていないせい。 続きを読む

Pythonだとこう書くヤツ。

import numpy as np

バージョン0.4.2現在、Juliaではasのような文法は用意されてないらしい。 続きを読む

エラーメッセージは下記。 続きを読む

毎回微妙に変わる気がする。 続きを読む

うちの.vimrc。

set expandtab
set tabstop=4

これ、解除したい時はどうするんだっけ、と思って調べたところ、invexpandtabで良いらしい。

set invexpandtab

ちょくちょく使うことがあるのでメモしておく。

下記のようなカラムの数が一定でないtsvを読み込みたかった。

105497
101731	90359	107575
105320	76175	96971	95604	109100	72563	105730	109194   
96971	95604

続きを読む

自然言語処理の業界ではそこそこ使われている青空文庫。

青空文庫の内容はgithubから落とせる。

https://github.com/aozorabunko/aozorabunko 続きを読む

先日、他の会社から支給されたPCを自分用にセットアップしようとした時に「自宅で入れてるあのアドオンなんだっけ」的な状態になったので、一覧を更新しておく。 続きを読む

IPythonのresetみたいなヤツが理想。

使用バージョンは0.3.3 続きを読む

pip installしようとすると、下記のようなエラーを吐くようになった。 続きを読む

vimでJuliaのシンタックスハイライトをしたかったので、julia-vimを入れる。

以下、手順ログ。続きを読む

とりあえず適当に (0.0, 0.1) 〜 (1.0, 0.9) に向かう線を引いてみる。

from matplotlib import pylab as plt
import numpy as np
intercept = 0.1
coef = 0.8
line = np.linspace( intercept, intercept + 1 * coef, 2 )
plt.plot( line )
plt.ylim( (0, 1.0) )
plt.show()

デフォルトだとtitleとかcolumnsに日本語使うと化けたので、matplotlib.rcで設定してみる。 続きを読む

なんかよく同じものを書いてる気がしたので貼っておく。

2014/8/1〜8/31までをyyyymmddで出力する例。

from datetime import datetime, timedelta
start_dt = datetime(2014, 8, 1)
for i in range(0, 31):
  dt = ( start_dt + timedelta( days = i ) ).strftime( '%Y%m%d' )
  print( dt )

Luceneの検索件数を返すtotalHitsがintだったので32bit以上だとどうなるんだろうと思ってやってみた。 続きを読む

連休に入ってから15本目の投稿。これはポメラじゃなく前のPCのメモに残っていた文章。

unicodedataはUnicode正規化ができたり、少し手を入れれば簡易なUnicodeBlock判定ができたりする。 続きを読む

世の中のPDFファイルを少し収集したかったので、5000回までなら無料で検索できる優しいBingさんにお願いすることにした。5000回以上のリクエストは有料。1万回だと1570円、10万回15,699円。商用で使うならアリな値段だけど個人ではちょっと手を出しづらい。

5000回ということは日に150回は検索ができる。個人での情報収集用途なら十分な回数。

とりあえず下記サイトに行って、右側の5,000回無料のところでサインアップ。
http://datamarket.azure.com/dataset/bing/search

サインアップできたら、マイ アカウントのマイ データのところからデモができる。 続きを読む

week=`date '+%w'`
if [ $week -eq 0 ] ; then
  echo 日曜日
fi

直近の日曜日の日付も欲しかった。

week=`date '+%w'`
sunday=`date -d "-$week days" '+%Y%m%d'`

$ sudo dd if=/dev/zero of=/dev/hdx

Wikipediaのデータに続いて、青空文庫のデータ（10,975タイトル、554MB）をword2vecに突っ込んでみた。

青空文庫は普通にgithubに置いてある（https://github.com/aozorabunko/aozorabunko）ので、そこからcloneし、ルビや改頁指定などは除去。タイトル、底本などに関する記述も除去。

ホントはあと1500タイトルほど文書があるはずなんだけど、不要な部分を除去する処理を噛ませた時にうまくいかなかったのをすっ飛ばしたので１万タイトル程度に収まる。

形態素解析時に姓名は連結、カタカナの連続は連結。中黒の前後も連結。動詞は基本形に変換している。 続きを読む

ここのところ遅ればせながらword2vecと戯れ中。学習にかかる時間も短いし、うまく使えばいろいろ役に立ちそう。

とりあえずWikipediaのデータを突っ込んだ結果などを。

形態素解析時に、姓と名を連結してみたり、接尾語と接頭語を連結してみたり、カタカナの連続を連結してみたりしている。

以下はdistanceした時の上位。上が入力ワード、下が出力されたワード。 続きを読む

PDFをKindle PaperWhiteで読む時はK2pdfoptを利用することにした。下記の記事を見て導入した。

http://netbuffalo.doorblog.jp/archives/4332005.html

各種プラットフォームに対応していてLinuxでも動作する。 続きを読む

データ処理の仕事をしていると「30分後くらいに今やってる処理が終わるから、そしたら出力結果を確認して次の処理を流す」とか「今投げてるクエリが終わるのを待ちつつ次のクエリを書く」といった時間差タスクがけっこう発生する。

別のタスクに手を出してしまうと、ついついそちらに熱中して、前に実行していたタスクのことを忘れてしまうことも多い。

そんな時は、libnotifyを使って指定時間に「そろそろ○○の作業終わったんじゃね？」といったnotifyを表示すれば、前のタスクを忘れずに済む。

HTMLの本文抽出をするライブラリを探していたら、ふとHTMLのwidthやheightを取りたい衝動に駆られたので、CSSBoxというJavaのレンダリングエンジンを使ってさらっと取得してみた。 続きを読む

■概要

HTMLから本文を抽出してSolrに登録する用事があったので、Javaの本文抽出ライブラリを探してみたところ、boilerpipeという子を見つけた。

英語色が強そうだけど、そこそこに精度は出そうに見えたので使ってみた。 続きを読む

我ながら酷いと思ったので写真を撮ってみた。 続きを読む

UbuntuでMeCabやKyTeaをソースからインストールしてコマンドを叩いてみると、こんなエラーが出ることがある。

# MeCabの場合
mecab: error while loading shared libraries: libmecab.so.2: cannot open shared object file: No such file or directory
# KyTeaの場合
kytea: error while loading shared libraries: libkytea.so.0: cannot open shared object file: No such file or directory

さくらのVPSのプランに変更があった。これまで月額980円の最安プランはメモリ512MB、HDD20GBだったのが、同額でメモリ1GB、HDD100GBになった。

メモリはどうでもいいけどHDDの容量は欲しいので、新規に1GBのプランを契約し、旧契約を破棄する形で乗り換えてみる。 続きを読む

今週はAmazonのCloudSearchが発表されたり、Lucene/Solrの3.6がリリースされたりと、全文検索さんとお付き合いしている人たちにはアドレナリンが出やすい1週間でした。

3.6には形態素解析を使ったAnalyzer（Kuromoji）が入るなど、日本人にとっては脳内物質が駆けめぐりやすいリリースになっているようです。β‐エンドルフィン。チロシン。エンケファリン。

とりあえず触ってみたところとかをメモ。 続きを読む