あけましておめでとうございます。
去年は酷い１年でした。この歳になってあんな酷い１年を過ごすなんて予想もしていませんでした。今年は去年の反省を活かして、毎日プログラミングに明け暮れる素晴らしい１年を過ごしたいと思います。
続きを読む
2011年01月06日
2011年01月04日
HBaseを試した時のメモ
だいぶ前に書いたまま打ち捨てられていたメモがあったので載せておく。
およそ正しくないHBase導入メモ（0.20.6）
http://www.mwsoft.jp/programming/hadoop/hbase_install.html
内容は微妙。あとでScalaから扱う方法とかも載せておこうかな。
およそ正しくないHBase導入メモ（0.20.6）
http://www.mwsoft.jp/programming/hadoop/hbase_install.html
内容は微妙。あとでScalaから扱う方法とかも載せておこうかな。
2011年01月03日
Wikipediaのビタビアルゴリズムを写経
今年の冬休みは写経をけっこうやってる。今日はWikipediaのビタビアルゴリズムのソースをScalaにして写経（？）した。
頭では分かっているつもりでも、自分で書いて使ってみて分かることも多い。
続きを読む
頭では分かっているつもりでも、自分で書いて使ってみて分かることも多い。
続きを読む
2011年01月01日
jawiki-latest-pages-articles.xmlをパースするScalaのソース
あけましておめでとうございます。
今年最初のコードは、前にJavaで書いたWikipediaのページ全文を格納したXMLをSAXでパースする処理を、Scalaで書き直した。
うちのマシンだとこの処理、75秒かかる。AthlonⅡ X4 640(3Ghz)のマシン。SAXなんでメモリは対して使わないし、シングルコアしか使ってない。
こういう処理はJavaやScalaだと、いい加減に書いてもそこそこに速度が出るのでありがたい。
ちなみにこれでパースした結果をLuceneに全部放り込んだら（全部ストアもした）約21分かかった。
続きを読む
今年最初のコードは、前にJavaで書いたWikipediaのページ全文を格納したXMLをSAXでパースする処理を、Scalaで書き直した。
うちのマシンだとこの処理、75秒かかる。AthlonⅡ X4 640(3Ghz)のマシン。SAXなんでメモリは対して使わないし、シングルコアしか使ってない。
こういう処理はJavaやScalaだと、いい加減に書いてもそこそこに速度が出るのでありがたい。
ちなみにこれでパースした結果をLuceneに全部放り込んだら（全部ストアもした）約21分かかった。
続きを読む
2010年12月25日
クリスマスの表記揺れ
せっかくのクリスマスだったので、クリスマスらしいことをしようと思った。
そこでTwitterの日本語のツイートを適当に収集するクローラを作り、12月24日に回してみて、クリスマスという言葉が何回くらい発生するか調べてみることにした。
1日回したら、100万ツイート（重複なし）ほどを収集することができた。その100万に対してこのコマンドを打つとどうなるか。
$ grep クリスマス tweet_20101224 | wc -l
さて、結果はいくつと表示されたでしょう？
続きを読む
そこでTwitterの日本語のツイートを適当に収集するクローラを作り、12月24日に回してみて、クリスマスという言葉が何回くらい発生するか調べてみることにした。
1日回したら、100万ツイート（重複なし）ほどを収集することができた。その100万に対してこのコマンドを打つとどうなるか。
$ grep クリスマス tweet_20101224 | wc -l
さて、結果はいくつと表示されたでしょう？
続きを読む
2010年12月23日
弁当箱サイズのパソコンを買ってみる
所要でDellのWindows機を買う。
別にDellでなくても良かったのだけど、サポートが付いていた方が好ましい要件だったのと、いろいろ通販サイトで選んでいた時に見た目でぐっと来てしまったことから、これになった。
続きを読む
別にDellでなくても良かったのだけど、サポートが付いていた方が好ましい要件だったのと、いろいろ通販サイトで選んでいた時に見た目でぐっと来てしまったことから、これになった。
続きを読む
2010年12月20日
IgoのLucene用Analyzerを使ってみた
先日のIgoの記事はこれがやりたかったが為の前振りだ。
というわけでIgoのダウンロードページにLucene用のAnalyzerがいたから使ってみた記録。
http://www.mwsoft.jp/programming/munou/igo_lucene.html
そんなことを書いていたらいつの間にか4時近い。おかしい。さっきまで0時じゃなかった？
さすがにヤバいのでもう寝よう・・・
というわけでIgoのダウンロードページにLucene用のAnalyzerがいたから使ってみた記録。
http://www.mwsoft.jp/programming/munou/igo_lucene.html
そんなことを書いていたらいつの間にか4時近い。おかしい。さっきまで0時じゃなかった？
さすがにヤバいのでもう寝よう・・・
2010年12月19日
ファイルからURLを抽出するいい加減なRubyソース
個人的に良く使う処理なので貼っておく。かなりいい加減。気が向いたらちゃんと書く。
そういえばRubyのURLって新しいRFC使ってたっけ。URI.parseすると現行で使われているURLも弾いたりする。
続きを読む
そういえばRubyのURLって新しいRFC使ってたっけ。URI.parseすると現行で使われているURLも弾いたりする。
続きを読む
2010年12月18日
Java製形態素解析エンジン「Igo」を試してみた
今週末はNutchのインデックスをなんとかする予定。
慣れているCJKAnalyzerでさくっと設定しようかと思ったけど、せっかくなのでここはLucene用のAnalyzerも用意されているらしいJava製形態素解析機のIgoに手を出してみることにした。
というわけで、Igoをインストールしたり、ざくっとソース眺めて感想らしきものを書いてみた。
Java製形態素解析エンジン「Igo」を試してみる
http://www.mwsoft.jp/programming/munou/igo_install.html
慣れているCJKAnalyzerでさくっと設定しようかと思ったけど、せっかくなのでここはLucene用のAnalyzerも用意されているらしいJava製形態素解析機のIgoに手を出してみることにした。
というわけで、Igoをインストールしたり、ざくっとソース眺めて感想らしきものを書いてみた。
Java製形態素解析エンジン「Igo」を試してみる
http://www.mwsoft.jp/programming/munou/igo_install.html
2010年12月16日
Nutchで指定URLだけFetch
しばらくNutch週間。
今回はリンクを辿らずInjectしたURLだけFetchするという、「それはNutchの仕事か？」と思えるような微妙な処理をするための設定を探ってみた。
http://www.mwsoft.jp/programming/nutch/inject_crawl.html
そんなことをしていたらいつの間にか3時を過ぎていた。もう寝なければ・・・
今回はリンクを辿らずInjectしたURLだけFetchするという、「それはNutchの仕事か？」と思えるような微妙な処理をするための設定を探ってみた。
http://www.mwsoft.jp/programming/nutch/inject_crawl.html
そんなことをしていたらいつの間にか3時を過ぎていた。もう寝なければ・・・
2010年12月13日
Apache Nutch調査録作成中
最近Nutchをちまちまと調査中なので、その成果を貼ってみる。
Apache Nutch調査録
http://www.mwsoft.jp/programming/nutch/
なっちゃんは割とドキュメントが不足気味な子なので、この内容でもそれなりに役立つと思ってくれる人もいるんじゃないだろうか。
Nutchの作るインデックスがイマイチなので、現状はParseTextだけダンプして自前でCJKAnalyzer使ってLuceneに入れるというひどい処理をしている。
これではせっかくのNutchのMapReduce力も活かせないのでプラグイン使う形に書き直したいところ。しかしプラグインのところがまだイマイチわかっていない。
Apache Nutch調査録
http://www.mwsoft.jp/programming/nutch/
なっちゃんは割とドキュメントが不足気味な子なので、この内容でもそれなりに役立つと思ってくれる人もいるんじゃないだろうか。
Nutchの作るインデックスがイマイチなので、現状はParseTextだけダンプして自前でCJKAnalyzer使ってLuceneに入れるというひどい処理をしている。
これではせっかくのNutchのMapReduce力も活かせないのでプラグイン使う形に書き直したいところ。しかしプラグインのところがまだイマイチわかっていない。
2010年12月05日
静音化の基礎テクニック「隣の部屋」の実演
最近、複数台のパソコンを同時に稼働して処理をさせることが増えている。複数台同時に回していると、周囲が静かになった時などに音が気になることがある。特に寝る時などは気になる。
こういう状況に出くわすと、人間は静音化への道を歩き出す。でも静音化は凝りだすとキリがない。
そこで、大掃除のついでにちょっと部屋の模様替えをするだけで、お金を使わずに効果が望める静音化の代表的な技法の1つ、「隣の部屋」を使ってみることにした。
続きを読む
こういう状況に出くわすと、人間は静音化への道を歩き出す。でも静音化は凝りだすとキリがない。
そこで、大掃除のついでにちょっと部屋の模様替えをするだけで、お金を使わずに効果が望める静音化の代表的な技法の1つ、「隣の部屋」を使ってみることにした。
続きを読む
2010年12月03日
2010年11月下旬私的ピックアップ
あー、なんか12月になってますね。今年も終わりか。
先月下旬はいまさらですがHBaseにハマってました。やってることがどんどん裏方の方へ裏方の方へと行っている昨今。あっ、でもLiftもちょっとだけやった。
続きを読む
先月下旬はいまさらですがHBaseにハマってました。やってることがどんどん裏方の方へ裏方の方へと行っている昨今。あっ、でもLiftもちょっとだけやった。
続きを読む
2010年12月01日
2010年11月28日
WikipediaのDumpダウンロードサイト、死亡中
WikipediaのXMLダンプやタイトル一覧なんかが入ったファイルをダウンロードできるページが死亡中らしい。タイトル一覧はけっこう重宝していたので、使えないのはちょっと不便。
落ちたのは11/9らしい。現在、11/28。けっこう長い。まぁ、サービス的にクリティカルなところじゃないし、好意で配布してくれてるようなものなので、私としては早く復旧しますようにと祈るしかない。
続きを読む
落ちたのは11/9らしい。現在、11/28。けっこう長い。まぁ、サービス的にクリティカルなところじゃないし、好意で配布してくれてるようなものなので、私としては早く復旧しますようにと祈るしかない。
続きを読む
2010年11月24日
過去に自分が遊びで書いたJavaScript集
先日、自分のサイトのJavaScriptってちゃんと動いてるかなぁと思って巡回してみた。ところどころバグってたけど、ChromeとFirerfoxでは割と動いていた。何年も前のものでもそれなりに動くものなんだな。
IEについては知らない。知りたくない。アーアー聞こえないー。
せっかく動いていることを確認したので、その中で使っていて割と面白かったものをまとめて貼っておく。
続きを読む
IEについては知らない。知りたくない。アーアー聞こえないー。
せっかく動いていることを確認したので、その中で使っていて割と面白かったものをまとめて貼っておく。
続きを読む
2010年11月23日
【IT用語】Scala（プログラミング言語）
Scalaとは、キックボクシングのルールに「投げ技」と「グラウンドでの打撃」を組み込んだMMA（総合格闘技）系プログラミング言語である。
HaskellやOCamlなどのレスリング系（もしくは柔道系）の選手が多く所属する言語と、Javaを代表とする打撃系の言語、双方の選手が参入できるようにバランスを取ったルールを採用している。
打撃系の選手がグラウンドテクニックを習得するために、入門用言語としてScalaに参画するケースもあるようだ。
まだマイナーな言語ではあるが、試合展開が間延びすることが少なく選手や観客からの受けも良いので、今後は参入する選手も増えることが予想される。
続きを読む
HaskellやOCamlなどのレスリング系（もしくは柔道系）の選手が多く所属する言語と、Javaを代表とする打撃系の言語、双方の選手が参入できるようにバランスを取ったルールを採用している。
打撃系の選手がグラウンドテクニックを習得するために、入門用言語としてScalaに参画するケースもあるようだ。
まだマイナーな言語ではあるが、試合展開が間延びすることが少なく選手や観客からの受けも良いので、今後は参入する選手も増えることが予想される。
続きを読む
2010年11月21日
日記的なもの
RSS代わりにTwitterを使っている人が増えているという噂もあるので、アカウントを晒してみる。
http://twitter.com/#!/mwsoft_jp
日記以外でブログを更新したらここに「書いたよ」と一言貼っておこうと思う。
2日に1回くらいしか使ってないので話しかけられても気づかない可能性が高い。ただのノイズ入りRSSと思ってもらえれば。
これまでこのブログ経由で仕事を4本くらい請けたことがあるので、大事にしないとなぁと思ってる。このレベルの内容でもブログというのは意外と役に立つものらしい。まぁ、私がフリーという立場だからというのもあるけど。
続きを読む
http://twitter.com/#!/mwsoft_jp
日記以外でブログを更新したらここに「書いたよ」と一言貼っておこうと思う。
2日に1回くらいしか使ってないので話しかけられても気づかない可能性が高い。ただのノイズ入りRSSと思ってもらえれば。
これまでこのブログ経由で仕事を4本くらい請けたことがあるので、大事にしないとなぁと思ってる。このレベルの内容でもブログというのは意外と役に立つものらしい。まぁ、私がフリーという立場だからというのもあるけど。
続きを読む