Kansai.pm に参加しました。とても楽しかったです。自分も "Hadoop Streaming で MapReduce" という題目で発表しました。取り急ぎ、資料を以下に公開します。 http://bloghackers.net/~naoya/ppt/080530kansaipm.ppt MapReduce は Google のバックエンドで動…

昨日のエントリのブックマークコメントで、Flash に関するコメントを幾つかいただきました。"JavaScript や Flash などのコードは現在のチームの他二名が担当しています。" と記載しましたが、今のところ Flash を使う予定はありません。募集しているエンジ…

ご存じの方も多いとは思いますが、新はてなブックマークの開発を進めています。はてなブックマークをスクラッチから開発し直し、ユーザーインターフェイスや各種機能の見直しと更なる楽しさを追加してユーザーのみなさんにお届けするための企画/開発作業です…

本を読むこととは、その本を読んだことに費やした時間の間、その書籍のテーマについて考えを巡らせることではないか、と近頃思います。本を読みながら集中して、ある特定のテーマについて考え続ける。本を読み終えた頃には、その思考の量的な価値が、自らの…

Introduction to Information Retrieval の5章の復習資料を以下にアップロードしました。 http://bloghackers.net/~naoya/iir/ppt/iir_05.ppt 5章はインデックス圧縮がテーマです。辞書の圧縮と postings files の圧縮に対するそれぞれのアプローチについて…

YAPC::Asia 2008 に来ています。ただいま二日目、昼食休憩中です。YAPC::Asia も今年で3回目ですが、配布されているスケジュールの冊子や会場案内の立て看板、全体の進行など...どこを見てもそのクオリティが年々上がっているように感じます。今年は昼食が無…

YAPC::Asia 2008 で OR マッパの DBIx::MoCo について発表しました。DBIx::MoCo は最近のはてなのサービスで利用しているバックエンドのソフトウェアで、Ruby 風のリスト操作や memcached による透過的なキャッシュなどをサポートしています。 http://blogha…

id:naoya:20080511:1210506301 のエントリのコメント欄で kzk さんに教えていただいた Hadoop Streaming を試しています。Hadoop はオープンソースの MapReduce + 分散ファイルシステムです。Java で作られています。Yahoo! Inc のバックエンドや、Facebook…

"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。MapReduce の面白いところは、map() と reduce() とい…

#!/usr/bin/env perl use strict; use warnings; use LWP::UserAgent; use POE::Filter::Line; my $filter = POE::Filter::Line->new; my $ua = LWP::UserAgent->new; ## POE::Filter::Line で $chunk を行入力に変換 $ua->get( 'http://d.hatena.ne.jp/naoy…