ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

ｼﾞｮｲｼﾞｮｲｼﾞｮｲｼﾞｮｲｼﾞｮｲ

自分の研究を自腹で広告した体験談

皆さんは自分の研究成果をどうやって広めていますか？

ひとつの研究は実働時間だけでも最低数ヶ月、全出版プロセスを考えると一年単位で取り組むこととなります。そうして手塩にかけて育てた研究が誰にも認知されない、というのはなんとも悲しいことです。

僕が所属している機械学習分野は人工知能ブームにより、日々洪水のように論文が発表され、その中で存在感を発揮するのは難しくなっています。

一昔前であれば、名のある国際会議やジャーナルに採択されればそれなりに存在感を発揮できたようですが、今では一つの会議に数千本の論文が採択されるため、採択された後にも競争に勝たなければ目立てないという事態になっています。

論文のクオリティを上げて名のある国際会議に採択されるだけでは不十分、となれば一体どうすれば良いでしょう。

有望な策は無く、天に祈って運に任せる、というのが最も一般的なパターンではないでしょうか。広く読まれる論文になるかどうかは運要素が非常に大きいと僕も感じています。

堅実な方法としては、ワークショップや研究会に多く参加し発表をすることが挙げられます。これについては、僕も一定の効果を発揮すると考えており、研究の完成後にはできる限り対外発表するよう心がけています。しかし、問題点としては、ある程度既に繋がりのあるコミュニティーより外へ輪を広げるのが難しいことと、時間と労力が多くかかり、数をこなすにも限界がある点です。

では、どうすれば。

認知を高める方法、と聞いて最もナイーブに思いつくのが広告です。しかし、企業がブランディングのために自社研究の広告を打つという例は散見されますが、個人で行った研究の広告の体験談というのは見つけることができませんでした。では、ないならやって確かめようじゃないか、というのがこの記事の動機です。

設定

広告プラットフォーム

広告プラットフォームとしては、Twitter を用いました。

プラットフォームの選定は重要な因子だと考えますが、今回は初めての広告体験ということで、単純に僕が慣れているという理由から選びました。 他の広告プラットフォームの検討は future work とします。

予算

今回は proof of concept 的な取り組みであることと、個人が自腹で行う検証であることから、予算は 3,000 円に限りました。

広告内容

今回広告内容として選んだのは、Private Recommender Systems: How Can Users Build Their Own Fair Recommender Systems without Log Data? という僕の研究です。

この研究を選んだ理由は、第一に、この論文が SIAM Data Mining (SDM) という国際会議に採択されており、その開催が間近であること。第二に、単著論文であるので僕自身で影響をコントロールしやすいことです。

Twitter 広告ではツイートを広告により拡散できるので、以下のように、簡易ポスター画像を付けたツイートを投稿し、これを広告内容としました。

【突然の宣伝】

みなさん、普段使っているウェブサービスの推薦システムに不満を持ったことはありませんか？いくら利用サービスの推薦システムがイマイチでも、社内エンジニアではない一介のユーザーには、改善のしようもありません。 そこで、この プライベート推薦システム論文 (arXiv リンク) では、一介のユーザーが、自分専用の理想の推薦システムを構築する方法を提案しています。ぜひ読んでみてください！

【宣伝ここまで】

広告方法

Twitter の広告では、まず軸となる指標を以下の候補から選びます。

Twitter 広告で特徴的なのは、軸として選択した指標以外には課金されないことです。

例えば、軸として訪問数（クリック数）を選び入札額を 20 円とすると、1000 インプレッションされて 0 人フォロワーが増えて 1000 クリックでも 2 万円だし、100000 インプレッションされて 100000 人フォロワーが増えて 1000 クリックでも 2 万円です。

また、もう一つ特徴的なことは、広告を見たユーザーがリツイートを行い、そのリツイートを見たユーザーが軸指標に貢献したとしても、それら二次効果については課金がされないことです。 よって、なるべく拡散されやすそうなツイートを作成することが費用対効果のカギとなります。

今回は、研究の認知を広めるという目的に沿っていそうな

  • リーチ（インプレッション数）
  • ウェブサイトへの訪問数
  • フォロワー数

の三つのキャンペーンを行い、それぞれ予算を 1,000 円ずつとしました。ここで、ウェブサイトへの訪問数とは、今回の広告の場合、ツイートに含まれている arXiv と GitHub のリンクのことです。

入札額の方法としては、Twitter に任せる方法と、自分で指定する方法があります。一般に、Twitter に任せると高額になる傾向があるようです。また、自分で指定する場合も、おすすめの入札額が表示されますが、これも高めに表示されるようです。

予算が少額の場合であれば、入札額を低めに指定したとしても予算は使い切ることができるので、入札額は低めに設定すると良いでしょう。目安としては、おすすめ入札額の下限の 1/10 - 1/5 程度で十分です。Twitter広告で2万円無駄遣いしてURLクリック単価を625円から5円まで下げた話などを参考にしつつ、以下の単価で設定を行いました。

  • リーチ（インプレッション数）: 80 円 / 1000 インプレッション
  • ウェブサイトへの訪問数: 10 円 / クリック
  • フォロワー数: 40 円 / フォロー

次に、ターゲット層を指定する必要があります。これは非常に多様な指定の方法がありますが、今回行ったのは、「ターゲットキーワード」と「フォロワーが似ているアカウント」の二種類です。

ターゲットキーワードとしては "Machine Learning" と "Data Mining" を指定しました。それぞれ推定オーディエンス数は約 800 万と 200 万でした。

「フォロワーが似ているアカウント」としては、関連分野の有名な研究者として Jure Leskovec @jure と Alex Smola @smolix を指定しました（チョイスに深い意味はありません。）また、国際会議の公式アカウント @kdd_news, @SIAMDataMining, @WSDMSocial, @SIGIRConf も指定しました。

結果

予算である 3,000 円は丸一日でほとんど使い切り、丸二日で完全に使い切りました。各キャンペーンごとに、獲得したインプレッション数と軸となる指標を確認できます。それぞれのキャンペーンごとの結果は以下の通りです。

リーチ（インプレッション数）を軸に指定した場合（費用: 1,000 円）

  • インプレッション数: 12,507

ウェブサイトへの訪問数を軸に指定した場合（費用: 1,000 円）

  • インプレッション数: 22,582
  • ウェブサイトの訪問数: 114

フォロワー数を軸に指定した場合（費用: 1,000 円）

  • インプレッション数: 1,951
  • フォロワー数: 26

総計（総費用: 3,000 円）

全てのキャンペーンにおける軸指標以外の指標への効果、二次波及効果、広告以外の通常の閲覧、全ての効果の合算は以下のとおりです。

また、副作用として、Github リポジトリ のスター数が広告期間中に 9 件増加しました（☆5 → ☆14)。

分析

上記の結果は広告費に見合っているのでしょうか。

広告なしの論文と比べて

論文への広告流入と非広告流入数を見ることで、広告の効果を測りたいところですが、残念ながら arXiv の論文にはアクセス解析をつけることができず、非広告流入のアクセス数は分かりません。

一方で、広告を打たなかった僕の別の論文 Retrieving Black-box Optimal Images from External Databases は WSDM という ACM の国際会議に採択されており、ACM Digital Library では論文のダウンロード数を見ることができます。この論文はテーマとしては今回広告を打った "Private ..." 論文と似ており、オープンアクセスでもあるので、この種の論文のダウンロード数の代替値としてはある程度は妥当かと思います。そのダウンロード数はというと、今年 2 月の公開時点から 2 ヶ月で 41 ダウンロードです。つまり、この種の論文に対するアクセス数というのはおおよそ 40 件くらいなもの、ということが分かります。

この値と比べると、今回の広告で獲得した 143 件というリンククリック数は論文へのアクセス数としては大きいものであることが分かります。

GitHub リポジトリのアクセス数

論文へのアクセス数の代替指標として、GitHub リポジトリへのアクセス数が考えられます。幸い、GitHub リポジトリのアクセス数統計は見ることができます。

明らかに広告期間中にアクセス数が伸びています。何もしないと毎日 0, 1 件のアクセスであるので、広告の効果は大きいことが分かります。

バズった論文と比べて

今月頭に NAACL に採択された Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem という論文の紹介ツイートは、ありがたいことに多くの方にリツイート・いいねしていただきました。

論文のコンセプトが分かりやすく、ターゲット層が広かったことがこの「プチバズ」の要因だったと考えています。

こちらのツイートはというと、広告なしで、15 万件ものインプレッションを得ていました。

これは今回行った広告により獲得したインプレッション数よりはるかに多く、また名高い研究者の方々にも言及・リツイートいただき、質としても非常に高い認知の広げ方ができました。

このように自然な拡散が可能な場合には、広告に頼らずとも、それ以上の効果が得ることができるといえます。

新規フォロワーの関連度

今回新たに 36 名の方にフォローしていただきました。しかし、正直なところ、僕との関連度が小さいユーザーが多く見受けられました。

最も期待していた、アカデミア界隈の方は数名のみで、広くエンジニアや科学に関係ありそうな方が十名ほど。過半数である残りは、馴染みのない言語であったり、馴染みのないコンテンツのユーザーでした。

軸指標としてフォロワー数を指定すると、この指標が伸びることが期待できるユーザー（オブラートに包まずに言うと、誰彼構わずフォローしているようなユーザー）に重点的に広告が提示され、フォロワー数という指標のみを最大化することになるという印象を受けました。

本当に「数」を増やしたい場合以外では、フォロワー数を軸指標に据えるのは注意した方が良いでしょう。

ターゲット層の指定方法

ターゲット層の指定方法としては、「ターゲットキーワード」と「フォロワーが似ているアカウント」を用いましたが、どの指定方法に基づきインプレッションを獲得したかを見てみると、大半が「ターゲットキーワード」で、「フォロワーが似ているアカウント」は 1~3% 程度でした。

@kdd_news, @SIAMDataMining, @WSDMSocial, @SIGIRConf などの具体的かつ関連度の非常に高いアカウント経由でなく、"Machine Learning" と "Data Mining" というざっくりしたキーワード経由で広告が表示されたことが新規フォロワーの関連度が低かった一つの要因と考えられます。

今後の改善方法としては、ターゲット層の指定方法をよりきめ細やかに行うということがいえるでしょう。しかし、今回の結果の率から分かるように、@kdd_news, @SIAMDataMining, @WSDMSocial, @SIGIRConf などという具体的なアカウントでは、範囲が狭すぎて拡散は望めないかもしれません。このバランスを取るのは重要な今後の課題の一つです。

結論

  • Twitter の広告は、主にビジネス利用が想定されているようですが、柔軟性は高く、個人の研究にも十分に対応できました。
  • 今回の予算 3,000 円はあっという間に消費されました。"Machine Learning" の推定オーディエンス数が数百万ユーザーであることを考えると、数十万円規模にはスケールしそうです。また、広告は成果報酬であり、費用を増やすほど線形に（二次波及効果まで考えると超線形に）指標を向上させることができます。研究について広告を行うことが一般化すれば、資金をもつグループの研究の認知がますます高まり、格差が広まる原因にもなりかねません。そのような事態を避けるには、何らかのガイドラインをコミュニティーで策定する必要があるかもしれません。
  • とはいえ、自然な拡散が可能な場合には、わかりやすいコンテンツや画像を作ることを心がけて、拡散するよう図った方が広告を打つより効果的です。広告の利用は、自然拡散が難しそうな内容の研究に対してや、起爆剤として、あるいは直近で発表がある場合の集中的な宣伝などを目的に行うのが良いでしょう。