しえログ

qiita との使い分けに悩んでる

KDD 2017 の Visual Search at eBay を読んだメモ

最近お仕事で CBIR 関連やっているので半ば義務感でさらっと目を通してみた。
結果まで書ききる体力なかったので手法とアーキテクチャのみ軽く・・・。

[1706.03154] Visual Search at eBay

www.youtube.com

タイトル

Visual Search at eBay

著者

Fan Yang, Ajinkya Kale, Yury Bubnov, Leon Stein, Qiaosong Wang, Hadi Kiapour, Robinson Piramuthu

概要

eBay の運営するサービスである ShopBot および Close5 の2つに関する技術事例・システム論文。リストに上がっては売れていくという揮発性のあるオンラインマーケットプレイスに対する画像検索へのアプローチ。画像検索技術だけでなく、スケールするシステムアーキテクチャと実装にまで触れている。

手法

DNN アーキテクチャ

例によって DNN でアプローチしているわけだが、 共通 conv 層の先を2つに分割し、セマンティックハッシュ生成用とカテゴリ認識用に別々の fc 層を構築したネットワークを用いている。

f:id:cielan:20170806112032p:plain
論文中より Fig. 3

検索結果のランキングはバイナリハッシュのハミング距離でソートするわけだが、より検索結果を改善するために以下の計算による属性スコアを取り入れて、そのうえで再度ランキング化している。

 {
S = \lambda S_{appearance} + (1 − \lambda)S_{aspect} \\
S_{aspect} = \frac{1}{\sum_{i=1}^nw_i}\sum_{i=1}^n\sum_{j=1}^mw_i\mathcal{I}(a_i^q=a_j)
}

 {S_{appearance}}: バイナリハッシュの正規化されたハミング距離
 {w_i,0 \leq i \leq n}: reward point。ハードコードされているが、属性によって可変設定。
 {a_i^q,0 \leq i \leq n}: クエリ画像  {q} から予測して得られた属性
 {a_j,0 \leq j \leq m}: 検索結果の画像から得た ground-truth な属性
 {\mathcal{I}(\cdot)}: 中身が一致していたら1を返す indicator 関数

システムアーキテクチャ

画像の取り込み及び保存はこんな感じ。
BigTable には MD5 を、CloudStorage には画像本体を格納している。

f:id:cielan:20170807002827p:plain
論文中より Fig. 6

さらに画像ランキングを保持するアーキクチャは Hazelcast を Kubernetes 上に構築。

f:id:cielan:20170807002841p:plain
論文中より Fig. 7

帰国した

怒涛の CVPR を経て無事帰国。着陸後は日本の味を求めてすぐさま成田空港内のフードコートでラーメン花月を食してしまった。夏は蒸し暑く冬は寒すぎるとはいえ、ちゃんと換気扇まわってウォッシュレットのあるトイレといい、早くて乗り心地の良い電車といい、やっぱ日本は素晴らしいと思いますわ。


せっかくなので CVPR を経ての所感を書き留めておく。

まず目の前の研究者と話せないのが本当につらい。まぁもちろん旅行英語ぐらいはできるつもりだよ。しかしながらちゃんと相手の研究解説を聞いて質疑応答を同期的にできるかというと全然ダメ。数式と図を指しながら色々やり取りしている状態では、飯食ったり酒飲みながらお互いの研究について議論を深めるなんて夢のまた夢だろう。ちとどげんかせんといかん。確か池尻に英会話喫茶なるところがあったのでちょっと尋ねてみようかしら。

あと、半年前と比べると格段にキャッチアップ出来てきたと思えるけど、やっぱまだまだ知らない単語や概念多いのはもちろんのこと、最近名前が知れてる研究者や会社・グループについても全然把握できてない。知ってても院生やってた6,7年前の話だよね?それ、的な感じにもなったりするしお笑いモノ。やっぱ場馴れ感出して初めて立てる場所もあると思うので、地道に頑張っていくしか無いんだろうけど、こんなんも知らんの?的な視線に耐えるのはなかなかしんどい。

そんな状態のくせして現地で知り合った日本の方々と比べても手が全然動かせてない現状もツライ。皆論文の実装をちゃっちゃと済ませてギッハブのスター稼いだり、自前データに適用してみたりといったことをイテレーション早くやってる方多い。基礎も大事だけどしっかり実績や結果も積んで行かないといかんね。


意識高く反省ポイント書き出したくせに、今日はこれまでずっと騙し騙し見ていた前の部署のシステムをようやっとクローズできたので酒飲みに行ってくるのである。また明日から頑張ろうと思ったけど、来週はもう MIRU だし、時間てのはホントにないもんだ。

観光じゃないハワイを満喫している

腰の調子もそれなりになったということでハワイに心置きなくやってこれた。 目的はもちろん CVPR なるコンピュータビジョンのトップカンファレンス。 現在2日目で、初日チュートリアル・ワークショップからのメインカンファレンスの1日目が終わったところだけど予想以上に刺激を受けている。

f:id:cielan:20170721083316j:plain

各セッションはスポットライト・オーラルの発表で構成。スポットライトは持ち時間が4分程度と短いので所謂ライトニングトークといったところだろうか。とはいえ話される内容は研究成果であり、しっかりと査読をクリアしているので上から目線で変な言い方でだけど安心して話を聞いていられる。むしろ話す側が4分程度に納めなきゃならないということでとても辛そうである。早口でまくしたてられる英語はいつもより周波数高めに感じられてなかなかなもんであった。そんな感じで英語をがんばって聞き取ってはいるものの、やはり理解まで出来るかというとそうではないので、ポスター発表に期待するのである・・・が、しかし、そこでも英会話能力が試されるため、カタコトで頑張っていると常にボロが出てしまうのであった。数式と図がある程度助けてくれるとはいえ、やっぱりちゃんと英会話訓練頑張ろうと思ったのは人生初かもしれない。

ホテルは会場からすぐ近くのショッピングセンターに隣接。さすがに日本とはスケール違うなと思いつつも、ゾンビ映画によく出てくるようなオーソドックスなショッピングセンターのなりをしており、いらぬ不安を抱いてしまった。ホテルの売店で売ってる酒も日本とそんなに変わらないのだけれど、マティーニとかマルゲリータが缶で飲みやすい形で売られているのには驚いた。ぜひ日本でもどっかが卸して欲しい。

ちなみに今夜は同じチームの偉大な先生のツテもあって、日本人参加者で軽くディナー。いろんな会社の研究者や博士課程の学生がいたりと、刺激的なのは飲み会も変わらなかったのでござる。特におそ松さんの六つ子認識で有名な bohemia さんとたまたま同じテーブルで飲ませていただけたのは幸運にしか思えない。ブログは論文と違ってレポートとしても軽く使えるし良いですよね、とか偉そうなこと言ったけど自分もちゃんとやってなんかの結果出せって話ですね。サーセン。ちなみに飲み代もなぜか少しおごってもらった。

あと、各 IT 系メディアでちょっと話題になってた Intel の USB ディープラーニングキットを会場で手に入れた。

f:id:cielan:20170723192136j:plain

まだ何にも使えてないんだけど、推論用にそれなりに強力らしいし日本に戻ったら色々試してみたい。

ヘルニアが少し改善した

先週火曜は1日早めてのヘルニアの経過観察。診察結果聞くまで結構不安だったけれど、蓋開けてみたら改善の方向に向かっているらしく、ちゃんとクスリのんで禁酒したかいがあった。とはいえリハビリはまだしばらく続くし、朝食後の1回のみにはなったもののクスリも毎日飲まなきゃいけないので、引き続きコルセットつけて今までどおり静かに日常生活を送るつもり。酒が解禁されたのは涙出るぐらい嬉しかった。

そんなわけで、来週というかもう明後日なんだけど CVPR に参加するため1週間ほどハワイに行くのだが、そこであまり羽目外しすぎないようにしないといけないのである。まぁそもそも日中はコンベンションセンターに缶詰なので羽目の外しようもないんだけれど。夜は飲み屋とかバーとか行けるだろうし、旅行的な楽しみはそこに期待。意思疎通なんとかできるレベルの英語を試すいい機会でもある。


この3連休はそれなりに充実出来た気がする。 髪切りに行けたし、六本木でやってるジャコメッティ展もみてこれたし、スマホ対応 VR 用のヘッドギアにも入門できた。

VR では動画コンテンツを楽しむつもりなんだけど、ちょっと焦点の調節に慣れていないのか、手前のオブジェクトに対する視差がそのまま現れてきてしまっていてちょっとツライ。それでもまぁスマホをそのまま取り付けている割には、実際に覗いてみるとスマホスマホしてる感じはあまり感じないのでやっぱすごいなぁと。もうちょい調節慣れて楽しめるように頑張らないと。

禁酒し始めて2週間経った

ヘルニアに伴い消炎剤の投薬生活を余儀なくされて早2週間。同じく禁酒生活も2週間経ったのでちょっと振り返り。酒をよく飲み始めてからのこの10年間、2週間も飲まない期間は今までなかったので結構頑張ったよ俺。

金曜の夜にすら飲みに行けないってのはヘルニア宣告受けた時に想像していた以上に辛く、それなりの依存症だったのだろうなぁなどと。酒の代わりの楽しみを見出そうにも運動も出来ないので八方塞がり感を感じていたのですが、まぁ良いのか悪いのかちょっとした変化や気付きもあったので留めておく。できれば次に病を患った際に余った時間の過ごし方についてあまり悲観的にならないようにしたいのもある。

積読してた書籍が進んだ

帰りに一杯、って感じで寄れる店がないので、業務後は寄り道せずサッサと帰宅していた。家にいてアニメ見てるだけってのもつまらないので、サボっていたというかずっと積読になっていた数学の書籍を再開。確率統計の書籍終わらせられたし、微積の書籍ももうすぐ終わらせられそう。別に1週間平日毎日飲み歩いてるわけではないのだけれど、夜の時間って結構長いんだなーって感じるのは毎晩家で過ごさないと案外気づけないのかもしれない。

体重がまた減った

先日胃腸炎にかかったときもそうだったんだけど割と体重がドラスティックに減った。今回も約1,2キロ落とせた気がしている。胃腸炎前が69キロからの胃腸炎後67.5キロ、そいで今66キロ前後。病気になって体重減らすってのは不健康極まりないのだろうけど、体重減った原因が酒やめたことだったら健康なときにも応用できるってわけだしこれは結構考えるものがあった。

ノンアル飲料でも楽しめた

先週水曜に部署エンジニア全体でのカンファレンスがあって、その後の懇親会ではもちろん酒は飲めないため、ちょうど配ってあったノンアルコールビールを飲んでいた。0.00%なので薬への影響はないと信じている。今まで飲んでる人があまり理解できなかったノンアルビールだけど、アルコール入ってる人と楽しく会食するって意味ではノンアルでも全然苦にならないというか普通に楽しめた気がする。あれ考えた人すごいんじゃないですかね。

自宅の娯楽環境のアプデ不備に気づけた

今日も1日仕事したあとに勉強も進んだし酒飲めないのでいっちょゲームでもやっか、ってなったときに、ずっと買おう買おうと思っていた PS4 を結局買えてなかったので最新ゲームができない。また、もうすっかり使い古したローソファがさらに腰を悪くしそうで座るのが怖く(素人考えだけどヘルニアの原因はローソファも大きい気がしている)、そもそもあまりいい位置でテレビに向かえない。諸々買い直すにも再来週から学会旅行続きだし今はあまり気が乗らない。なんてことに気づいた。やっぱり普段から自宅を快適に過ごすための手入れをしておくことは大事。掃除と一緒にこまめにやらないといけん。

基本的に普段からしっかり生活しておけっつー話が多いのだけれど、病気になったときぐらいしか健康の大切さってわからないし、くどいほど記録残しておいたほうがいいと思っている。8月に学会旅行が一段落したら会社の5連休制度使って自宅環境アプデに励めるといいな。とりあえず次の水曜日の経過観察の診察でまたレントゲン取ってヘルニアの状態見るけど、一応3,4ヶ月スパンでの療養って聞かされているし、あまり期待しすぎずに地道に頑張っていく所存である。

Python と numpy で主成分分析やってみたメモ

腰やっちゃってて暇だしってわけでもないんだけれど、ほったらかしにしてたプログラミングのための確率統計を読み進めてたら p.280 の例題 8.2 での主成分分析で、そういえば自前で実装したことなかったなぁって思ったので Python & numpy で実装してみたので Gist に貼り付けといた。

主成分分析のシミュレーション

自分の環境では書籍とは結果違ってくるけど、まぁやり方は合っているとは思う。 t-SNE とかも今度ちゃんとやってみよう。

プログラミングのための確率統計

プログラミングのための確率統計

椎間板ヘルニアを患いました

週末は劇場版お兄様を観に。同期男6人と渋谷で彼の活躍を目の当たりにしてきました。

自分はまだアニメ版も九校戦の途中までしか観れてなかったんだけど、映画は映画で単品でも楽しめた気がする。流石お兄様と言われるだけはあるというか、あんな完璧超人感出しながら日常生活送れたらどんなに素敵な人生が送れていたことか。

そういえばなんで武井壮がクレジットに入っていたんだろう。どっかで出演してたんですかね。ちょくちょくアニメのCMに出てきてたのは知っていたけど何か関連あったんだろか。

映画のあとはそのまま渋谷奥のシャレオツな店の軒先でビアガーデン。目の前の女性グループがひたすら自撮りしまくってたのが気になったけど、俺らも俺らでカップルしかいないような店内に比べ、なんともむさ苦しい入り口付近にしてしまっていた気がする。お酒と料理は美味しくって普通にまた行きたいお店ではあった。


先週木曜の夜はいつもとは違うルートを遠回りして帰ろうと思い、会社がある渋谷から恵比寿代官山中目黒を通って池尻の自宅に帰宅。バブを入れていつもより豪勢な湯船に浸かっていい夢を見たところまでは良かったものの、朝起きるとなんか腰が痛い。歩いたり椅子に座っている分には何も感じないのだけれど、洗濯物干すために服を拾い上げたり、ベッドから起き上がる際の違和感がいつもより大きく感じる。

まぁいつもの寝違えだろうしそのうち治まるだろうと思って会社で普段通り過ごすものの、腰をよっこらせっとやった際の痛みは全然軽減されず。仕方なく会社の救急箱から湿布を頂いて貼り付けてはみたが、夜の飲み会でもやはり痛みは続き、次の日の回復に期待することに。

上述したとおり、映画を観に行ったり男だらけでビアガーデンで飲んだくれたりなどしていたので土日を楽しく過ごせはしたものの、やはり痛みは消えず。今日の朝になっても変わらない感じなのでツイッターで病院行くか的なことをつぶやいたら、 前職前のチームでお世話になった上司に会社近くのクリニックをオススメしてもらった。

午後の診察が15時からなので、チームの Slack に午後外出する旨を残して病院へ。 道中、これまでの人生のパターン的に

自分「腰痛がひどくて」

先生「はい見せてみてー、うん全然大丈夫だよ?様子見してみたら?」

自分「あぁはい(内心安堵)」

的な流ればかりだったことを思い出して、どうせ今回も似たようなもんなんだろう、と軽く考えていました。

先生に症状を告げ、レントゲンを撮影。さらに、結果が出るまでリハビリルームでよくわからないベッドみたいな機械でカラダを縦に伸ばされ、腰部分にマイクロウェーブを浴び、整体マッサージを受けて待機。

再度診察室へ呼ばれ、マッサージ気持ちよかったな悪くても湿布が何枚か処方される程度かなーと思いきや、入室早々先生 said

椎間板ヘルニアだね」

「・・・」

想像していたよりも重めの症状名にしえら思わず絶句。ボードに貼り付けられたレントゲン写真をみて自分の腰骨の湾曲っぷりにさらに絶句。 追い打ちをかけるかのように、

「クスリ出しとくから。運動・アルコールも駄目よ。週2,3回来てね、リハビリするから。」

「・・・」

その後の説明があまり頭に入らなかったけど、促されるまま自分でできるカラダのストレッチを教えてもらいクスリと湿布と腰コルセットを受け取って病院をあとに。結局あまり頭が働かないままトボトボと会社へ出戻り、いつまで続くのかわからない闘病生活が始まったのでした。


なんとも歳を感じる出来事に結構落ち込んでいたりするけど、初詣で引いたおみくじで病については「軽し なおる」とおっしゃってくださっているわけだし、信じて運動酒断つしかない。 平凡な似非エンジニアとしては職業的にも大した影響あるわけではないし、まだ救いと考えるしかないんだろうな。週2,3のペースで勤務時間中にリハビリに行かせてもらえるような現在の職場環境もありがたい限りである。 来月の CVPR と再来月の MIRU にコルセットつけて行かなきゃいけないかもしれないのが当面の悩みかな。リハビリ頑張ろう・・・。