Home

初めまして、カムです。こちらのウェブサイトに日本語でブログを投稿します。ランキング学習を始め、情報検索、数学など様々なことについて投稿したいと思っています。何かコメント、批判、アドバイスなどありましたらぜひお願いします！

English here

最近の投稿

  • SIGIR 2019 に参加してきました
    • はじめに 2019年7月21日〜25日に開催された SIGIR 2019 に参加してきました。SIGIR は「Special Interest Group ... read more
    Aug 07 2019
  • ランキング学習 〜情報検索への機械学習の応用〜
    • はじめに 本記事は CodeZine ... read more
    Nov 11 2018
  • Activate 2018（旧 Lucene/Solr Revolution） に参加してきました
    • 2018年10月15日〜18日モントリオールで開催された Activate 2018 に参加してきました。 カンファレンスは Lucene/Solr ... read more
    Oct 28 2018
  • Spark + AI Summit Europe 2018 に参加してきました
    • 2018年10月２日〜４日にエクセル展覧会センター（ExCeL London） という場所で開催されたSpark + AI Summit Europe ... read more
    Oct 18 2018
  • 「機械学習の論文をスクラッチから実装しよう！」LambdaMART の数式をコードに落とす
    • ... read more
    Sep 27 2018
    Recent Posts Widget

    Popular posts from this blog

    ランキング学習 〜情報検索への機械学習の応用〜

    Image
    はじめに 本記事は CodeZine に掲載されました。 こちら で読めます。 近年、「AI」という言葉をよく見かける背景には、機械学習を使った様々な手法と飛躍的進歩があります。 この機械学習の大きな手法の１つに「教師あり学習」と呼ばれる手法があります。 この教師あり学習には大きく分けて２つのタイプがあります。１つは、ある画像を「犬か否か」推定したり、「犬、猫、鳥」の どれに分類されるか推定するといった「分類」です。もう１つは、ある出来事が起こる確率を推定するといった「回帰」です。 どちらのタイプも教師あり学習ではよく用いられますが、本記事で紹介する「ランキング学習」は一般的な「分類」や「回帰」とは 少し異なります。ランキング学習は近年発展してきた技術のため、特に日本語の情報が非常に少なく、英語の情報がほとんどです。 そのため、本記事では日本語でランキング学習を詳細に解説していきたいと思います。 ランキング学習とは ランキング学習は英語では Learning to rank といって、LTR とよく省略されます。英語のウィキペディアにあるランキング学習の記事では以下のように定義されています。 "Learning to rank or machine-learned ranking is the application of machine learning, typically supervised, semi-supervised, or reinforcement learning, in the construction of ranking models for information retrieval systems." 上記の英文を日本語に訳すと以下のようになります。 「ランキング学習とは情報検索のシステムにおいて、ランキングモデルの構築に適用された機械学習のことです。ランキング学習のアルゴリズムには教師あり学習、半教師あり学習または強化学習があります。」 情報検索やランキング学習のことを知らずに上記の定義を読んだらあまりピンとこないかもしれないので、 より分かりやすく説明したいと思います。検索システムでいえば、ランキングとは検索結果の表示順のことを指します。例えば、「総理大臣」と検索して、一番上に表示...
    Read more

    「機械学習の論文をスクラッチから実装しよう！」LambdaMART の数式をコードに落とす

    Image
    「機械学習の論文をスクラッチから実装しよう！」というシリーズは、機械学習で現れる数式をコードに落とすことを目的としています。論文で数式がでてくると、「これは 具体的にはどういう式なのでしょう」と思うことは多いでしょう。その数式が実際のコードで実装された形であれば、漠然としていた数式がわかりやすくなるのではないかと 考え、本シリーズを書くことにしました。本記事では、数式の実装に重点を置いてコードを書きます。本記事に含まれたコードはアルゴリズムの評価、判別などの完全実装ではなく、 むしろ機械学習のアルゴリズムを実装するにあたって参考になればなと考えています。提供しているコードは Learning-to-Rank for Lucene というオープンソースで筆者が書いたコードに基づいています。 ランキング学習 LambdaMART はランキング学習（Learning to Rank）のアルゴリズムです。ランキング学習は、情報検索において多用されており、yes か no、クラス・関連度予測ではなく、複数の文書のランキング（表示順）に基づいた学習です。例えば、以下二つの文書があるとしましょう（星の数が多いほど関連度が高い）。 文書A, 星の数：5 文書B, 星の数：4 文書C, 星の数：３ 学習済みのモデルでそれぞれの文書に星の数を予測しようとしたら、以下の結果が出たとします。 文書A, 予測値：4 文書B, 予測値：２ 文書C, 予測値：１ 上記の予測値は、期待の星の数とは異なりますが、星の数の高い順で並ぶと、表示順が変わりません。ユーザにとっては結果の表示順が理想と全く同じです。従って、文書のランキングに基づいて学習し、学習されたモデルを文書のランキングで評価すべきではないかというイデアが生まれ、ランキング学習のアルゴリズムが開発されました。 LambdaMART さて、本題に入りましょう。LambdaMARTは、どういう機械学習のアルゴリズムかというと、勾配ブースティング回帰木（Gradient Boosted Regression Tree）のアルゴリズムです。具体的には LambdaMART はニューラルネットワークのアルゴリズム「LambdaRank」の勾配を用いて、MART（Multiple Added Regression T...
    Read more

    ランキング学習勉強会第１回　まとめ

    Image
    ランキング学習勉強会第１回　まとめ 先月、 株式会社ロンウイット にて、ランキング学習勉強会が開催された。私は勉強会の後半で当時まで Learning-to-Rank for Lucene ( LTR4L ) で実装してきたニューラルネットワーク（NN）のアルゴリズムの理論について発表し、LTR4L のデモも行った。イベントの詳細や登壇者が使用したスライドなどは こちら で見られる。 ランキング学習勉強会で紹介したアルゴリズムは以下のとおりである。  - PRank (Perceptron Ranking)  - OAP-BPM  - RankNet  - FRankNet  - LambdaRank  - SortNet  - ListNet 加うるに、以下の点についても解説した。  - 損失関数  - 精度評価指標  - 最急降下法・確率的勾配降下方  - バックプロパゲーション（誤差逆伝播法） それぞれのアルゴリズムについては LTR4L の README.md でまとめてはあるが、勉強会でより詳細に解説したので、以下 NN のアルゴリズムを簡単にまとめていこうと考えている。 疑似コードは LTR4L の README.md 、または元論文を参照。FRankNet と SortNet の解説は省略する。 単純パーセプトロンのアルゴリズム PRank (Perceptron Ranking) 種類：ポイントワイズ PRank は単純パーセプトロンという、入力層と出力層の２層のニューラルネットワークを用いたアルゴリズムであり、その目的は文書を分類することである。 入力層は特徴量分のノードで構造されており、出力層はノード１個（出力ノード）で構造されている。 各入力ノードは出力ノードに重み付きのリンク（Edge）を張られ、出力ノードに信号を送る。 どういう信号を送るかというと、入力信号（特徴）をそのまま出力し、それを重みでかけ、それを出力ノードに入力する。出力ノードは、入力信号の総和をそのまま出力する。 PRank の目的は文書を分類することなので出力に基づいた分類...
    Read more