上野で春日大社

仕事関係で懸念してたことが何とかなりそうな予感のする一週間だった。 まだいろいろめんどいこと残ってるけど、一旦は毎晩の酒が少しばかりおいしくなりそうな気はしている。

同時に根を詰めて書いてきた社内論文もほぼほぼ仕上がって（内容はお察しだけど・・・）、皆様からの貴重なコメントを反映する作業をしている。 最終の〆が次の火曜日なので新しい図とかにも手を入れる余裕はあるけど、頂いたコメントすべてを反映することは無理そうだなー・・・。もちろん取捨選択するんだけれどそれもなかなか難しいですね。 こういう査読っつーかレビュー会みたいなのでダメ出し食らって反映することはもちろん学生時代もやってたけど、あの時は時間をそれだけに使って良かったりしたので頂いたコメントのみならず自分でもう少し修正できそうなところに対してガンガン修正とかできてた気がする。今はもう基本的に仕事が1日の大半を占めてるわけだしこういうのちゃんとこなせる社会人研究者とかホントすげぇな、と。結局この2週間はほぼ論文とか読めてないし、機械学習のお勉強も進められてないので、ただでさえ開いているチームメンバとの差がさらに広がってまう。水曜からはまたいつものペースに戻していかないとなぁ。

そういえばプレミアムフライデーなんてどこ吹く風か的な感じでフツーに定時あがりだった。街もいたって普通の金曜の盛り上がりな感じしたし、浸透する日とか来るんですかね。早く帰れるのはありがたいけど、その分仕事量もちゃんと少なめになるのが理想だな。

今日はずっと行こう行こうと思っていた春日大社の特別展をみに上野に。 社自体はもうかれこれ60回ほど改修工事しているらしく、お古になって神殿から下ろされた狛犬と獅子を観てこれた。頭に角があるのが狛犬で、ないのが獅子らしい。 下は記念撮影OKだった灯籠。

いつか現地に行って実際に見てみたいもんだ。

gurutabi.gnavi.co.jp

論文がなんとか出来てきた

最近週末がいい感じに晴れてくれるおかげでジョギングが捗る。まだまだ寒いのでウィンドブレーカは欠かせないし走り初めの凍え方が尋常じゃないけど。

先日のスノボの前日に、「社内論文書きませんか？」とのお誘いを受けてから早2週間。前のエントリでも触れた論文だけど、なんとか文字数を埋めるだけの初稿は完成。あとは今週いっぱいで推敲を重ねられるだけ重ねる感じに落ち着けることができたので一旦ビール飲んでる。何もなくてもほぼ毎日飲んでる気がしなくもないけど。 これも前に書いたけど社内限なので、論文自体のネタはもちろん、利用したデータセットや結果の画像まですべてがオフレコものであり、ここに詳細書けるようなことはないのがザンネン。 日本語でのショートペーパーということで軽い気持ちで臨んだわけだけど、いざ執筆してみるとどこをどのぐらい手を緩めればいいのか逆に厳密に書いたほうがいいのか悩むことが多くて意外と時間がかかってしまった。結局文体や数式含めまだまだ納得いかないままだしやっぱうまくは行かないもんですね。とりあえず書きたいこと書いちゃったけど、出さずにもらえるはずだった批評がもらえないよりは出して批評もらえたほうが儲けモンだろ、ぐらいの気持ちでいる。TeX のコンパイルエラーもすぐ取れて昔の仲を取り戻せた気がする。

本仕事のほうがおざなりになりがちだったので今週からは調子を戻していかないといけない。少し気難しい協力会社の担当者に加えて自分の確認待ちのタスクもあったはずなので約9時間後の出社がかなり憂鬱になってきているのをビールで必死に紛らわしている午前1時。少しだけ車載動画を見てから寝ることにする。

フレンズ

６年前の修論以来初のホワイトペーパーを書こうとしている。とはいっても完全にプライベートでドメスティックな部署内論文なので外部に言える内容じゃないんだけれども・・・。執筆に関しては Overleaf っていうサイトを教えてもらいました。

www.overleaf.com

便利な世の中になったもんで今は論文すらもウェッブ上で編集するのがデファクトスタンダードな時代らしいのだが、ツーカラムの ACM テンプレに対して日本語表示の設定をするとコンパイルエラーが起きまくってしまうので誰か TeX が得意なフレンズに助けてほしい。TeX がツライのは6年経った今でも変わってなかったらしく、学生時代の苦悩が蘇ってきている。 実験自体はそこまで悪い結果にならなさそうなので中身の心配はしていないけど、肝心のペーパーが仕上がらなければどうしようもない問題。

そんな中、昨日はここ１年ほど毎回参加させてもらってるコンピュータビジョン勉強会＠関東に参加。有名国際会議の論文読み会や CV の基礎勉強会がメインの質の高い（俺にとっては難易度も高い）勉強会なのだけれど、今回はコンピュータビジョン技術を利用したツールのお披露目会。まさか PaintsChainer や ごちうサーチ や 作監AI の中の方々の生の発表を聴けるとは思っていなかったので、祝日の大手町ダンジョンをくぐり抜けていったかいがあった。自分もいつかこういうよさ気なアウトプットができるフレンズになりたいものですな。

勉強会後は先週のスノボの影響もあったのか首・肩・背中あたりにコリを感じていたのでマッサージが得意なフレンズにマッサージしてもらいに整体に。いつも30分でやってもらってるところを初めて60分コースで頼んでみたら、これ書いてる今になっても背中の軽さが感じられてとても素晴らしい。月2回ぐらいは頑張った自分へのご褒美（）にしてもいいと思える内容だったので今後は60分コースで行こうと思うし、論文書き終わったらまた行こうと思う。

NIPS2012 の Mandatory Leaf Node Prediction in Hierarchical Multilabel Classification のアブストとイントロだけ読んだ

概要

Abstract より

• MLNP は終点のノードが中間のノードより強い情報を持つ場合において有用性を発揮する階層的分類手法である
• 階層的多クラス分類を行う MLNP の手法は数多く存在するものの、MLNP を階層的多ラベル分類に利用することはなかなか難しいものがある
• 今回は、大域的な階層構造を考慮し、木および DAG の両方に適用できる新しい MLNP アルゴリズムを提案する
  • 貪欲法が全ノードのラベルの事後確率を効率的に最大化することを示した
  • さらに対称損失の期待値を最小化することも成し遂げた

Introduction より

• 階層的分類アルゴリズムはラベル間の階層関係を予測する上で非階層的なアプローチに比べて良さげなパフォーマンスを達成している
  • MLNP は終点ノードまでのフルパスを利用した予測であるが、部分的なパスを利用した NMLNP ってのもある
• 今回は階層的多ラベル分類（ HMC ）に着目する
  • 階層的他クラス分類との違いは、それぞれのパターンのラベルが階層内のパスの結合になること
    • 参考: J.Rousu, C.Saunders, S.Szedmak, and J.Shawe-Taylor. Kernel-based learning of hierarchical multilabel classification models. Journal of Machine Learning Research, 7:1601–1626, 2006.
  • 日常的な例としては document, image, song, video あたりが複数のタグを持つ感じ
  • 近年盛んに研究されている
• 階層的他クラス分類ではただ1つの部分木についての問題である一方、HMC においてはそれぞれのノードがいくつの部分木を持ちどの部分気についての問題かを決定する
  • しかしながら、全ての部分木・サブグラフにおける最大事後確率を計算する上でのより良いアプローチとなるものの、終点ノード数が多いほどが候補数が多くなったり、既存研究においてはメタラベルの数が多くなったり DAG へ対応ができないなどの問題があった
• これらの問題についての解決策を提案する
  • 弱 nexted approximation 仮定を利用することで、最適化問題が貪欲法で効率的に解けることを証明した
• 章立ては以下の通り
  • 2章で MLNP のためのフレームワークを提案
  • 3章で DAG 構造への拡張を行う
  • 4章で実験結果について述べる

利用技術・前提知識・用語

• MLNP
  • mandatory leaf node prediction
  • ⇔ NMLNP
    • non-mandatory leaf node prediction
• DAG
  • directed acyclic graph
  • 有向非循環グラフ
• joint posteriror probability
  • 同時事後確率
• gene function
  • 遺伝子機能
• HMC
  • hirarchical multi-label classification
  • 階層的多ラベル分類？
• greedy algorithm
  • 貪欲法
• symmetric loss function
  • 対称損失関数？
• Baysian network
  • ベイジアンネットワーク
• Second Pascal Challenge on Large-scale Hierarchical Text Classification
  • テキスト分類のコンテスト？
• nested approximation
  • ネスト近似？
• NAP assumption
• MAS algorithm

所感

画像を階層構造として表現した論文かと思えばそうじゃなかった・・・。 何をしようとして何を達成したかぐらいは読んだので続きは読むかどうかわからないけどまた今度だなー。

昨日スノーボードに行ってきた

お誘いをいただいたので、会社の同期3人とリア充ウィンタースポーツの代表格であるスノーボードにこんな非リア初心者が行ってきた。実に4年ぶり3回目。筋肉と首がいまだに痛い。

朝は6時15分に起床。前日に前の部署のメンバーとのダーツで負けに負けてテキーラを飲み過ぎたのか、就寝直前にハイボールをひと缶開けてしまったせいかは知らないが喉と頭に若干のアルコールを感じながら支度。集合は東京駅に7時半だったのに電車の遅れもあって自分が到着したのは7時40分前。申し訳ありませんでした。

新幹線を待つ間にホームの KIOSK で朝食購入。なかなかのエッグチーズサンドイッチであった。さらに行きの車両はなんとグリーン車。学生時代から頻繁に新幹線利用してはいたけどグリーン車に乗ったことは今まで全然なくって正直都市伝説だとばかり思っていた。流石の快適さで滑る前の良い体力温存になったと思う。今度旅行でも使ってみたい。

ゲレンデついてからは4年ぶりの勘を取り戻そうと奮闘したものの、そう簡単にうまくは行かないしそもそも取り戻せる勘もあまりなかったというお粗末さ加減。時折平らになった場所からどうにもこうにも進まず結局ボード持っていちいち移動せにゃならんのは上達するにつれてなんとかなるらしい。にわかには信じられないけど。

昼飯はもちろんカレー。今回行ったスキー場は食べ放題で提供しておりしっかりおかわりまでしてきた。しかしながら満腹になったせいかようやく昼飯前に掴めたと思えた自信は昼飯後に少し滑ったあとにいとも簡単に崩れ去ることに。コケまくって首ポッキリいくんじゃないかと思ったし（実際1回だけコキっと音したし死を覚悟した）、ウェアをちゃんと着れてなかったみたいで雪も侵入しまくってた。

そんな状態だったので、昼飯後は少し滑ったら先にレストハウスで休憩。他の3人は自分の倍ぐらい滑ってたみたいだけど、1人が途中あのだだっ広いゲレンデ内で iPhone を紛失し、しかもそれを他の2人の携帯を利用しての「iPhone を探す」で解決したという珍事件があったらしい。神様っているんですね。

滑り終えたあとはサクッと近くの温泉で温まってから渋谷のゲスな街へ逆戻り。レタシャブの有名な店でレタシャブ食わずに1日の最後の飲みを楽しみ、軽く2次会までして帰宅し即就寝。

せっかくウェアも買ってあるしコツも掴みかけてきた最中だったのでまた挑戦したいけど、2月は仕事に業務外の社内論文書きにと忙しくなりそうなので次はいつになるのやら。 こないだの誕生日で30になっちまったし、もう新しいスポーツに対する挑戦で無理が効く歳でもないので軽く嗜むぐらいを目標にゆるく頑張ってはいきたい。

ECCV 2014 の Large-Scale Object Classification using Label Relation Graphs パラ読みして諦めたメモ

概要

• 既存モデルを一般化する統合物体分類フレームワークを提案
  • 同じオブジェクトにつけられた複数のラベルの関係性に基づき、現実世界のより豊かな構造表現を抽出する
  • HEX グラフというグラフ構造を定義し、CRF（Conditional Random Field） 的な確率的分類モデルを提案
• 評価データセットは ILSVRC2012
  • zero-shot learning も達成
• 最大の貢献ポイントは理論面
  • HEX グラフ
  • 新しい分類モデル
  • 新しい推論アルゴリズム

参考スライド

コンピュータビジョン勉強会での takmin さんの発表資料。

Large-Scale Object Classification Using Label Relation Graphs from Takuya Minagawa

所感

とにもかくにも定義が多すぎてメモしていかないと理解しながら読み進められないし実際挫折した。 もうちょいリファレンス論文読んだりグラフ理論とか確率周りの知見もつけてからもっかい読みたい。

次読みたいリファレンス

階層構造まわり

• Tousch, A.M., Herbin, S., Audibert, J.Y.: Semantic hierarchies for image annotation: A survey. Pattern Recognition 45(1), 333–345 (2012)
• Fergus, R., Bernal, H.,Weiss, Y., Torralba, A.: Semantic label sharing for learning with many categories. In: Computer Vision–ECCV 2010, pp. 762–775. Springer (2010)
• Hwang, S.J., Sha, F., Grauman, K.: Sharing features between objects and their attributes. In: Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on. pp. 1761–1768. IEEE (2011)

構造予測による階層アノテーション

• Lampert, C.H.: Maximum margin multi-label structured prediction. In: NIPS. vol. 11, pp. 289–297 (2011)
• Bi, W., Kwok, J.T.: Mandatory leaf node prediction in hierarchical multilabel classification. In: NIPS. pp. 153–161 (2012)
• Bi, W., Kwok, J.T.: Multi-label classification on tree-and dag-structured hierarchies. In: Proceedings of the 28th International Conference on Machine Learning (ICML-11). pp. 17–24 (2011)

ハイボール片手に

酔っぱらいながらブログ書くのも久々な気がする。そこまで早めの会社上がりではなく、飲み始めたのは午後10時半ぐらいからだったのだけれど家近くの店をしっかりと2軒ハシゴできた。このポエムも帰ってきてシャワってから今日最後のハイボール片手に書いてるしとてもいい気分だ。

午前は一緒に仕事させていただいている協力子会社との MTG 及びその資料作り。結果としては昨日まで1週間ほど誠意を込めて練った案が半分受け入れられ半分ボツ・・・。持ち帰ってきた課題としてはまだ前向きな方向なので悲観するほどのことではないのだけれども。ただ、向こうはまったくの別職種なのでこちらの意見を通すのに骨が折れるし、せめてこちらで案考えるのが俺1人だけじゃなくて2人以上いればどんなに楽なことかと思う。そもそも社会人になってからこういう面倒くさい関係各所とのすり合わせ的なこと一切やってこなかったので、おそらく業務経験としてはいい部類なのだろうけど、やっぱり理想を言えば1日中研究活動していたいしデータ集めるための準備とかそれこそ人工知能でなんとかなっててほしい。未来早く来い。

遅めの昼飯を済ませたあとは産学連携先の大学の先生の講義でブースティング手法についてのお話。書籍でもよくお名前を見かける先生だし、話聞いてるだけで Gradient Boosting までなんとなくわかった気になれたのはめちゃありがたかった。AdaBoost とか Gradient Boosting とか目先のカッチョいい手法よりも根幹の数理的仕掛けに気付いて面白がれるかどうかが機械学習研究者だ（聞き間違いはあるかも）、とのことらしいです。当分の間、機械学習研究者とは名乗れなさそうですね。引き続き精進します。