KDD 2017 の Visual Search at eBay を読んだメモ
最近お仕事で CBIR 関連やっているので半ば義務感でさらっと目を通してみた。
結果まで書ききる体力なかったので手法とアーキテクチャのみ軽く・・・。
[1706.03154] Visual Search at eBay
タイトル
Visual Search at eBay
著者
Fan Yang, Ajinkya Kale, Yury Bubnov, Leon Stein, Qiaosong Wang, Hadi Kiapour, Robinson Piramuthu
概要
eBay の運営するサービスである ShopBot および Close5 の2つに関する技術事例・システム論文。リストに上がっては売れていくという揮発性のあるオンラインマーケットプレイスに対する画像検索へのアプローチ。画像検索技術だけでなく、スケールするシステムアーキテクチャと実装にまで触れている。
手法
DNN アーキテクチャ
例によって DNN でアプローチしているわけだが、 共通 conv 層の先を2つに分割し、セマンティックハッシュ生成用とカテゴリ認識用に別々の fc 層を構築したネットワークを用いている。
論文中より Fig. 3
検索結果のランキングはバイナリハッシュのハミング距離でソートするわけだが、より検索結果を改善するために以下の計算による属性スコアを取り入れて、そのうえで再度ランキング化している。
: バイナリハッシュの正規化されたハミング距離
: reward point。ハードコードされているが、属性によって可変設定。
: クエリ画像 から予測して得られた属性
: 検索結果の画像から得た ground-truth な属性
: 中身が一致していたら1を返す indicator 関数