読者です 読者をやめる 読者になる 読者になる

しえログ

qiita との使い分けに悩んでる

論文がなんとか出来てきた

ポエム

最近週末がいい感じに晴れてくれるおかげでジョギングが捗る。まだまだ寒いのでウィンドブレーカは欠かせないし走り初めの凍え方が尋常じゃないけど。

先日のスノボの前日に、「社内論文書きませんか?」とのお誘いを受けてから早2週間。前のエントリでも触れた論文だけど、なんとか文字数を埋めるだけの初稿は完成。あとは今週いっぱいで推敲を重ねられるだけ重ねる感じに落ち着けることができたので一旦ビール飲んでる。何もなくてもほぼ毎日飲んでる気がしなくもないけど。 これも前に書いたけど社内限なので、論文自体のネタはもちろん、利用したデータセットや結果の画像まですべてがオフレコものであり、ここに詳細書けるようなことはないのがザンネン。 日本語でのショートペーパーということで軽い気持ちで臨んだわけだけど、いざ執筆してみるとどこをどのぐらい手を緩めればいいのか逆に厳密に書いたほうがいいのか悩むことが多くて意外と時間がかかってしまった。結局文体や数式含めまだまだ納得いかないままだしやっぱうまくは行かないもんですね。とりあえず書きたいこと書いちゃったけど、出さずにもらえるはずだった批評がもらえないよりは出して批評もらえたほうが儲けモンだろ、ぐらいの気持ちでいる。TeXコンパイルエラーもすぐ取れて昔の仲を取り戻せた気がする。

本仕事のほうがおざなりになりがちだったので今週からは調子を戻していかないといけない。少し気難しい協力会社の担当者に加えて自分の確認待ちのタスクもあったはずなので約9時間後の出社がかなり憂鬱になってきているのをビールで必死に紛らわしている午前1時。少しだけ車載動画を見てから寝ることにする。

フレンズ

ポエム

6年前の修論以来初のホワイトペーパーを書こうとしている。とはいっても完全にプライベートでドメスティックな部署内論文なので外部に言える内容じゃないんだけれども・・・。執筆に関しては Overleaf っていうサイトを教えてもらいました。

www.overleaf.com

便利な世の中になったもんで今は論文すらもウェッブ上で編集するのがデファクトスタンダードな時代らしいのだが、ツーカラムの ACM テンプレに対して日本語表示の設定をするとコンパイルエラーが起きまくってしまうので誰か TeX が得意なフレンズに助けてほしい。TeX がツライのは6年経った今でも変わってなかったらしく、学生時代の苦悩が蘇ってきている。 実験自体はそこまで悪い結果にならなさそうなので中身の心配はしていないけど、肝心のペーパーが仕上がらなければどうしようもない問題。

そんな中、昨日はここ1年ほど毎回参加させてもらってるコンピュータビジョン勉強会@関東に参加。有名国際会議の論文読み会や CV の基礎勉強会がメインの質の高い(俺にとっては難易度も高い)勉強会なのだけれど、今回はコンピュータビジョン技術を利用したツールのお披露目会。まさか PaintsChainerごちうサーチ作監AI の中の方々の生の発表を聴けるとは思っていなかったので、祝日の大手町ダンジョンをくぐり抜けていったかいがあった。自分もいつかこういうよさ気なアウトプットができるフレンズになりたいものですな。

勉強会後は先週のスノボの影響もあったのか首・肩・背中あたりにコリを感じていたのでマッサージが得意なフレンズにマッサージしてもらいに整体に。いつも30分でやってもらってるところを初めて60分コースで頼んでみたら、これ書いてる今になっても背中の軽さが感じられてとても素晴らしい。月2回ぐらいは頑張った自分へのご褒美()にしてもいいと思える内容だったので今後は60分コースで行こうと思うし、論文書き終わったらまた行こうと思う。

NIPS2012 の Mandatory Leaf Node Prediction in Hierarchical Multilabel Classification のアブストとイントロだけ読んだ

論文 機械学習

概要

Abstract より

  • MLNP は終点のノードが中間のノードより強い情報を持つ場合において有用性を発揮する階層的分類手法である
  • 階層的多クラス分類を行う MLNP の手法は数多く存在するものの、MLNP を階層的多ラベル分類に利用することはなかなか難しいものがある
  • 今回は、大域的な階層構造を考慮し、木および DAG の両方に適用できる新しい MLNP アルゴリズムを提案する
    • 貪欲法が全ノードのラベルの事後確率を効率的に最大化することを示した
    • さらに対称損失の期待値を最小化することも成し遂げた

Introduction より

  • 階層的分類アルゴリズムはラベル間の階層関係を予測する上で非階層的なアプローチに比べて良さげなパフォーマンスを達成している
    • MLNP は終点ノードまでのフルパスを利用した予測であるが、部分的なパスを利用した NMLNP ってのもある
  • 今回は階層的多ラベル分類( HMC )に着目する
    • 階層的他クラス分類との違いは、それぞれのパターンのラベルが階層内のパスの結合になること
      • 参考: J.Rousu, C.Saunders, S.Szedmak, and J.Shawe-Taylor. Kernel-based learning of hierarchical multilabel classification models. Journal of Machine Learning Research, 7:1601–1626, 2006.
    • 日常的な例としては document, image, song, video あたりが複数のタグを持つ感じ
    • 近年盛んに研究されている
  • 階層的他クラス分類ではただ1つの部分木についての問題である一方、HMC においてはそれぞれのノードがいくつの部分木を持ちどの部分気についての問題かを決定する
    • しかしながら、全ての部分木・サブグラフにおける最大事後確率を計算する上でのより良いアプローチとなるものの、終点ノード数が多いほどが候補数が多くなったり、既存研究においてはメタラベルの数が多くなったり DAG へ対応ができないなどの問題があった
  • これらの問題についての解決策を提案する
    • 弱 nexted approximation 仮定を利用することで、最適化問題が貪欲法で効率的に解けることを証明した
  • 章立ては以下の通り
    • 2章で MLNP のためのフレームワークを提案
    • 3章で DAG 構造への拡張を行う
    • 4章で実験結果について述べる

利用技術・前提知識・用語

  • MLNP
    • mandatory leaf node prediction
    • ⇔ NMLNP
      • non-mandatory leaf node prediction
  • DAG
    • directed acyclic graph
    • 有向非循環グラフ
  • joint posteriror probability
    • 同時事後確率
  • gene function
    • 遺伝子機能
  • HMC
    • hirarchical multi-label classification
    • 階層的多ラベル分類?
  • greedy algorithm
    • 貪欲法
  • symmetric loss function
    • 対称損失関数?
  • Baysian network
  • Second Pascal Challenge on Large-scale Hierarchical Text Classification
    • テキスト分類のコンテスト?
  • nested approximation
    • ネスト近似?
  • NAP assumption
  • MAS algorithm

英単語

  • mandatory
    • 義務的な、強制された
  • taxonomy
    • 分類学
  • pursue
    • 追求する、議論する
  • feasible
    • もっともそうな、実行可能な、うまくいきそうな
  • empirical
    • (理論ではなく)実証に基づいた

所感

画像を階層構造として表現した論文かと思えばそうじゃなかった・・・。 何をしようとして何を達成したかぐらいは読んだので続きは読むかどうかわからないけどまた今度だなー。

昨日スノーボードに行ってきた

ポエム

お誘いをいただいたので、会社の同期3人とリア充ウィンタースポーツの代表格であるスノーボードにこんな非リア初心者が行ってきた。実に4年ぶり3回目。筋肉と首がいまだに痛い。

朝は6時15分に起床。前日に前の部署のメンバーとのダーツで負けに負けてテキーラを飲み過ぎたのか、就寝直前にハイボールをひと缶開けてしまったせいかは知らないが喉と頭に若干のアルコールを感じながら支度。集合は東京駅に7時半だったのに電車の遅れもあって自分が到着したのは7時40分前。申し訳ありませんでした。

新幹線を待つ間にホームの KIOSK で朝食購入。なかなかのエッグチーズサンドイッチであった。さらに行きの車両はなんとグリーン車。学生時代から頻繁に新幹線利用してはいたけどグリーン車に乗ったことは今まで全然なくって正直都市伝説だとばかり思っていた。流石の快適さで滑る前の良い体力温存になったと思う。今度旅行でも使ってみたい。

ゲレンデついてからは4年ぶりの勘を取り戻そうと奮闘したものの、そう簡単にうまくは行かないしそもそも取り戻せる勘もあまりなかったというお粗末さ加減。時折平らになった場所からどうにもこうにも進まず結局ボード持っていちいち移動せにゃならんのは上達するにつれてなんとかなるらしい。にわかには信じられないけど。

昼飯はもちろんカレー。今回行ったスキー場は食べ放題で提供しておりしっかりおかわりまでしてきた。しかしながら満腹になったせいかようやく昼飯前に掴めたと思えた自信は昼飯後に少し滑ったあとにいとも簡単に崩れ去ることに。コケまくって首ポッキリいくんじゃないかと思ったし(実際1回だけコキっと音したし死を覚悟した)、ウェアをちゃんと着れてなかったみたいで雪も侵入しまくってた。

そんな状態だったので、昼飯後は少し滑ったら先にレストハウスで休憩。他の3人は自分の倍ぐらい滑ってたみたいだけど、1人が途中あのだだっ広いゲレンデ内で iPhone を紛失し、しかもそれを他の2人の携帯を利用しての「iPhone を探す」で解決したという珍事件があったらしい。神様っているんですね。

滑り終えたあとはサクッと近くの温泉で温まってから渋谷のゲスな街へ逆戻り。レタシャブの有名な店でレタシャブ食わずに1日の最後の飲みを楽しみ、軽く2次会までして帰宅し即就寝。

せっかくウェアも買ってあるしコツも掴みかけてきた最中だったのでまた挑戦したいけど、2月は仕事に業務外の社内論文書きにと忙しくなりそうなので次はいつになるのやら。 こないだの誕生日で30になっちまったし、もう新しいスポーツに対する挑戦で無理が効く歳でもないので軽く嗜むぐらいを目標にゆるく頑張ってはいきたい。

ECCV 2014 の Large-Scale Object Classification using Label Relation Graphs パラ読みして諦めたメモ

論文 機械学習 コンピュータビジョン

概要

  • 既存モデルを一般化する統合物体分類フレームワークを提案
    • 同じオブジェクトにつけられた複数のラベルの関係性に基づき、現実世界のより豊かな構造表現を抽出する
    • HEX グラフというグラフ構造を定義し、CRF(Conditional Random Field) 的な確率的分類モデルを提案
  • 評価データセットは ILSVRC2012
    • zero-shot learning も達成
  • 最大の貢献ポイントは理論面

参考スライド

コンピュータビジョン勉強会での takmin さんの発表資料。

所感

とにもかくにも定義が多すぎてメモしていかないと理解しながら読み進められないし実際挫折した。 もうちょいリファレンス論文読んだりグラフ理論とか確率周りの知見もつけてからもっかい読みたい。

次読みたいリファレンス

階層構造まわり

  • Tousch, A.M., Herbin, S., Audibert, J.Y.: Semantic hierarchies for image annotation: A survey. Pattern Recognition 45(1), 333–345 (2012)
  • Fergus, R., Bernal, H.,Weiss, Y., Torralba, A.: Semantic label sharing for learning with many categories. In: Computer Vision–ECCV 2010, pp. 762–775. Springer (2010)
  • Hwang, S.J., Sha, F., Grauman, K.: Sharing features between objects and their attributes. In: Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on. pp. 1761–1768. IEEE (2011)

構造予測による階層アノテーション

  • Lampert, C.H.: Maximum margin multi-label structured prediction. In: NIPS. vol. 11, pp. 289–297 (2011)
  • Bi, W., Kwok, J.T.: Mandatory leaf node prediction in hierarchical multilabel classification. In: NIPS. pp. 153–161 (2012)
  • Bi, W., Kwok, J.T.: Multi-label classification on tree-and dag-structured hierarchies. In: Proceedings of the 28th International Conference on Machine Learning (ICML-11). pp. 17–24 (2011)

ハイボール片手に

ポエム

酔っぱらいながらブログ書くのも久々な気がする。そこまで早めの会社上がりではなく、飲み始めたのは午後10時半ぐらいからだったのだけれど家近くの店をしっかりと2軒ハシゴできた。このポエムも帰ってきてシャワってから今日最後のハイボール片手に書いてるしとてもいい気分だ。

午前は一緒に仕事させていただいている協力子会社との MTG 及びその資料作り。結果としては昨日まで1週間ほど誠意を込めて練った案が半分受け入れられ半分ボツ・・・。持ち帰ってきた課題としてはまだ前向きな方向なので悲観するほどのことではないのだけれども。ただ、向こうはまったくの別職種なのでこちらの意見を通すのに骨が折れるし、せめてこちらで案考えるのが俺1人だけじゃなくて2人以上いればどんなに楽なことかと思う。そもそも社会人になってからこういう面倒くさい関係各所とのすり合わせ的なこと一切やってこなかったので、おそらく業務経験としてはいい部類なのだろうけど、やっぱり理想を言えば1日中研究活動していたいしデータ集めるための準備とかそれこそ人工知能でなんとかなっててほしい。未来早く来い。

遅めの昼飯を済ませたあとは産学連携先の大学の先生の講義でブースティング手法についてのお話。書籍でもよくお名前を見かける先生だし、話聞いてるだけで Gradient Boosting までなんとなくわかった気になれたのはめちゃありがたかった。AdaBoost とか Gradient Boosting とか目先のカッチョいい手法よりも根幹の数理的仕掛けに気付いて面白がれるかどうかが機械学習研究者だ(聞き間違いはあるかも)、とのことらしいです。当分の間、機械学習研究者とは名乗れなさそうですね。引き続き精進します。

CVPR2008 の Object Categorization using Co-Occurence, Location and Appearance メモ

論文 機械学習 コンピュータビジョン

概要

共起性と相対位置という2つのコンテキストを組み合わせて物体を分類する手法を提案。 意味・空間的な関連性に基づき、物体とラベルの対応度合いを最大化するために、系列ラベリング問題を解くための CRF(conditional random field) を利用している。 学習および評価には PASCAL 2007 と MSRC データセットを使用。

手法

Learning Spatial Context

学習というよりかは理解的な意味合いかな?

PASCAL 2007 および MSRC データセットにおけるセグメント化された領域及びその bouding box のラベルを ground truth として利用している。 画像 {I_1,…,I_n} があり、それぞれについて異なるカテゴリ {c_i, c_j \in \cal{C} \mbox{ s.t. } i \ne j } に属する物体が少なくとも2つある。 物体 { i } の bounding box を {\beta_i} とし、 以下のように定義する。

  • ラベル {c_i} の物体に対するラベル {c_j} の物体の重なり度合いのパーセンテージ: { O_{ij} = \frac{\beta_i / \beta_j}{\beta_i} }
  • それぞれの bouding box の重心の y 座標の差: { \mu_{ij} = \mu_{yi} - \mu_{yj} }

x 座標については水平方向の位置関係に意味が見い出せないので特に取り扱わない。 それぞれを3つ組にした空間情報記述子 { F_{ij} = (\mu_{ij}, O_{ij}, O_{ji})^{\mathrm{T}} } の特徴空間を4つのグループにベクトル量子化して俯瞰することで、自前で定義するよりも物体のペア間の関係性がより良い感じにできた。

Contextual Object Categorization Model

どう訳すべきかわからない。状況的物体カテゴリー分別法的な?

大まかな流れは以下の通り。

  1. 入力画像を信頼のおけるセグメンテーション手法でセグメント化する
    • 認識のために改良版 BoF *1と組み合わせる
  2. 各セグメントに対し信頼度に基づきラベル候補を割りあてる
  3. 各セグメントを位置及び物体の共起性による制約のもとで CRF のノードとしてモデル化する
    • ineraction potential {\phi_r(c_i, c_j)} を導入し、 {r = 1,..,4}above, below, inside, around )までの関係性について出現カウントを行列にまとめる
  4. local appearance, contextual agreement および spatial arrangements をもとにそれぞれのセグメントがカテゴリーラベルが与えられる
    • 関係性ごとの出現頻度(物体ごとの出現頻度を含む)を合計することで、最低限の共起性行列を得ることができる
    • 複数のラベルが割り当てられる確率をモデル化し、それを最大化させるような {\phi} を勾配法で探す
    • 数式めんどいから省略・・・

所感

  • 2008年とのこともあってこれまでの state-of-the-art な手法を超えたとはいってても最近はもうすでに何かいいやつ出てきてそう。
  • セグメンテーション手法何使ったのかな、言及してはいない気がする。
    • 書いてあった。Normalized Cut ベースの手法で行ってたみたいですね。
  • 数式もちょいちょい疑問残る箇所あったので機会あったら復習したい。

*1:Does image segmentation improve object categorization? 参照