情報処理学会 インタラクション2018

インタラクション2018 プログラム編成にあたって

インタラクション2018 プログラム委員長　坂本 大介 (北海道大学)

私がはじめて参加した学会が2004年3月に一橋講堂で開催されたインタラクションでした。私は当時学部の4年生で、初めての学会参加にとても緊張していたことを憶えています。このインタラクション2004が私のはじめての対外的な口頭発表の機会でした。あれからもう14年も経ちました。私の発表はMIT Media labのHenry Lieberman教授の招待講演の直後で、会場がほぼ満席でした。この時の発表が上手くいったかどうかはほぼ記憶にありませんが、これが私のアカデミアでの原体験であり、また現在にいたる活動の全ての始まりだったと思っています。

その後、インタラクションは2011年以降一橋講堂を離れ、東京都内の会場を移動しながら開催されてきました。今年のインタラクションが8年ぶりに一橋講堂に戻ってきて、また同時に私がプログラム委員長としてこの会議に貢献させて頂く機会が巡ってきたことに運命を感じるとともに、このような機会を頂いたことに多くの皆様に感謝を申し上げる次第です。

このメッセージでは、今回インタラクション2018のプログラム編成の概要について、少し詳しくご説明させて頂こうと思います。

プログラム編成

まずはインタラクション2018のプログラムの概要を示します。

（1）口頭発表
  採録論文数　20件
  インタラクション特集号からの招待　2件
  合計　22件

（2）インタラクティブ発表（デモ）
  プレミアム発表　37件
  一般発表　151
  口頭発表からのデモ　10件
  合計　198件

（3）インタラクティブ発表（ポスター）
  プレミアム発表　6件
  一般　27件
  合計　33件

上記のように、昨年からの変更点としては、1) 口頭発表プログラムに、2008年からインタラクションシンポジウムと連動して実施されている情報処理学会論文誌「インタラクションの理解および基盤・応用技術」特集号からの論文を招待、2) ポスター発表の復活という試みを行いました。さらに、今年は 3) IUI2018との連携があります。

ポスター発表の復活

インタラクションシンポジウムの規模拡大にともない、インタラクティブ発表（デモ発表）の発表件数が非常に多くなってきており、2017年には220件近くまで増えました。インタラクションは3日開催ですので、一日あたり70件以上の発表があることになります。現在でもこれだけ多くのデモ発表を受け入れる会場を、現在の参加費（言い換えれば予算）で用意することは既に大変難しくなってきています。

インタラクティブ発表はもともと「インタラクティブシステムやインタラクティブアートの完成品または試作品について、ブース形式で数百人の参加者に体験してもらい、その手法、設計思想も含めて２～３時間のセッション中に対話的に議論すること」が目的でした。一方で近年のインタラクションでは「インタラクティブシステムやインタラクティブアートの完成品または試作品の展示を伴わない、いわゆるポスターのみの発表」が増えてきていました。

これはヒューマンコンピュータインタラクション（HCI）研究の広がりにともない、人文科学系に軸足を置いた調査研究や、実験に重きを置いた評価研究、理論計算機科学の応用研究など幅広く「人と対話システムのインタラクション」に注目した研究が増えてきた結果であると考えています。そして、これは決してネガティブな方向性ではなく、日本国内のHCI研究がユーザ（もしくはヒューマン）インタフェース中心から、さらに幅広く受け入れる（インクルーシブな）コミュニティに変容を遂げようとしている証であると考えています。

上記2つの理由（1. 会場のキャパシティと予算、2. ポスターのみの発表の増加）により、2018年は一般講演発表とデモ発表に加えて、ポスター発表を復活させました。

1. インタラクティブ発表（デモ展示）にはポスター掲示のためのパネルとテーブル、および電源を提供
2. インタラクティブ発表（ポスター）にはポスター掲示のためのパネルを提供

とし、会場のキャパシティの確保と会場設営費の圧縮を試み、さらに明示的にポスター発表を募集することで、さらに幅広い研究に対して発表の機会を用意しました。

インタラクションでの以前の「ポスター発表」の立場は「口頭発表に落ちた論文の発表の場」という、いわば少し地位の低いものでしたが、今年はインタラクティブ発表（デモ）とインタラクティブ発表（ポスター）と名付け（この名前が妥当かどうかはまだ自信がないのですが。。）、スクリーニングについても平等に扱い、発表賞候補として扱うことで、平等さを確保しました。

特集号との連携

今年は通常の一般講演発表に加えて、インタラクションと連動して企画されている情報処理学会論文誌「インタラクションの理解および基盤・応用技術」特集号（通称インタラクション特集号）の昨年分の採録論文から2件を一般講演発表に招待しました。招待の基準としては、昨年のインタラクションで発表がされていないこと、情報処理学会の他のシンポジウムで口頭発表されていないこと、関連する国内会議（例えばWISSなど）で口頭発表されていないことを重視し、採否判定会議中に議論を行い招待する研究をリストアップし、リストの上から順番に打診を行い、結果として口頭発表プログラムの時間的制約をもとに2件を招待しました。これにより、全体で22件の一般講演（口頭発表）プログラムとなりました。

IUI2018との連携

インタラクション2018の最終日3日目はコラボデーと名付け、the 23rd International Conference on Intelligent User Interfaces (IUI2018)と共同でインタラクティブ発表とKeynote addressを実施します。インタラクティブ発表ではIUI2018から35件のポスター発表があります。また、Keynote speakerとしてStanford UniversityのJames A. Landay教授に「From On Body to Out of Body User Experience」と題してご講演頂きます。

IUI2018との連携のために、今回のインタラクション2018の準備を開始したのが2016年6月でした。インタラクション2018大会委員長の東芝・大内さん、IUI2018 General Co-chairsの当時大阪大学の土方先生と2016年6月24日に東芝の川崎本社において連携について具体的な議論を行いました。これはインタラクション2017の第一回実行委員会より早かったと記憶しています。インタラクション2018の3日目のコラボデーについての基本的な方針はこの議論を元にしています。その後は大きな変更はありませんでした。

プログラム委員会について

今年も昨年までのプログラム委員会を引き継ぎ、メタ査読者として複数の論文を俯瞰するチーフプログラム委員（18名）と、個々の論文の詳細な査読を担当するプログラム委員（75名）からプログラム委員会を構成しました。
http://www.interaction-ipsj.org/2018/program_committee/

各チーフプログラム委員はプログラム委員からの査読結果を踏まえ、オンラインで議論を行い採否判定案を作成します。その上で、チーフプログラム委員が集まって採否判定会議を2017年12月5日～6日にかけて八ヶ岳ロイヤルホテルにおいて開催し、十分な議論を経て一般講演発表の採択論文を決定しました。また、ベストペーパー賞についても採否判定会議の最後に決定いたしました。

査読・スクリーニング方針

これまでのインタラクションでは、査読・スクリーニング方針が明確な年もあれば、そうでない年もありました。査読時に問題が発生したり、疑念が生じたりした場合には、その都度プログラム委員会で議論し対応してきました。この結果、個々人の査読方針に依存してしまい、査読者間で基準が揃っていなかったり、議論されずに査読者の判断で解決してしまった問題に影響を受けた査読スコアが集まってしまっていました。このため、不当にネガティブ・ポジティブな判定が含まれてしまい、採否を決めることが難しい場面があったり、採録されるべき論文が埋もれてしまうことも考えられます。これは著者にとって不幸なことであり、さらにはコミュニティとしての損失であると思います。

私は2011年を除き、2009年からずっとインタラクションのプログラム委員もしくはチーフプログラム委員を務めてきており、多くの事例についてその検討過程を見てきました。また、情報処理学会論文誌編集委員や、特集号編集委員会委員長を務める過程で学んだことをもとに、インタラクションシンポジウムにおける査読・スクリーニング方針をまとめました。今年はこの査読方針をプログラム委員の皆様向けの説明書として提供しました。
https://docs.google.com/document/d/1q0NsA9PbV0UU1HyS3B79TXXCtdle1Wj9EHYvA-9tliI/edit?usp=sharing

この説明書についてはインタラクションだけではなく、情報処理学会の他のシンポジウムなどでも使って頂けるようになっていると思います。

以降は、この説明書の効果がどのようなものだったかを検討したいと思います。

一般講演発表について

一般講演発表には45本の投稿があり、前述したプログラム委員会の厳密な査読と議論を経て、20本を採択しました。査読においては、例年通り1論文につきプログラム委員（査読者）4名、チーフプログラム委員（メタ査読者）1名の合計5名を割り当てました。一部のボーダーライン上の論文にはShepherdingを行い、チーフプログラム委員が論文の改善を個別に確認した上で採録しました。 Shepherdingを通して、新規性は高いが発展途上の論文を積極的に採択し、インタラクションコミュニティの活性化に配慮しました。

査読の詳細について見ていきます。まず、査読者には説明書において、以下のような基準を示しました。

点数	総評	判定
7	論文賞候補	採録すべきである
6	ジャーナル論文レベル	採録が相応しい
5	シンポジウム論文として優秀	採録したい
4	シンポジウム論文として適切	可能ならば採録したい
3	シンポジウム論文の質として最低ライン	採録の可能性は低い
2	シンポジウム論文として質が劣る	現状で採録は難しい / 不採録が相応しい
1	シンポジウム論文として不適切	不採録にすべきである

これまでは点数だけが示されており、総評や判定などについては示されていませんでした。ここでは総評や判定を言語で示すことにより、なにも無い状態よりも査読スコアのばらつきが減ることを期待していました。また、シンポジウムや国内・国際会議の査読においては採否を明確にするために中央の得点を避けるよう指示がある場合がありますが、中央の得点にも意味があると思っています。このため中央の値（4点）に対して「シンポジウム論文として適切」という意味を持たせ、ここが平均値となるように基準を示すことで、チーフプログラム委員会で議論されるべき論文が、委員会での議論の対象となるように期待しました。最終的な査読結果は以下のようになりました。

図1（左）査読報告直後の査読スコア分布、図2（右）採否判定会議後の査読スコア分布

まずは査読報告締切直後（査読者間の議論開始前）の得点分布を確認します。平均値は3.91点（SD=1.05）でした。Rにおいてシャピロ・ウィルク検定を行った結果、査読報告直後の査読スコアの平均値は正規分布に従っていました（W = 0.98368, p = 0.7692）。昨年度のデータがないので比較はできませんが、今年のデータだけ見る限りでは私の期待通りの結果が得られたのではないかと思います。この後、プログラム委員（査読者）とチーフプログラム委員（メタ査読者）の議論フェーズを経て、上位グループの数が徐々に減って、4点台から3点台にスライドして行く様子が観察されました。これは議論の過程を減ることで、全体的に平均点が下がっていくことを示しています。査読報告直後の査読スコアの平均は3.91点だったのに対して、採否判定会議後の平均スコアは3.77点でした。詳細を見ていくと、査読報告直後から採否判定会議後までに査読スコアが下がったものが13件（全体の28%）、上がったものは0件でした。査読スコアが下がったものについて、最大で-1.5点も下がったものがありました。これはチーフプログラム委員の指摘およびチーフプログラム委員会での議論の結果、採録に問題があると判定された論文でした。

次に採否判定後の査読スコアの概要について示します。再掲ですが採否判定後の査読スコアの平均は3.77（SD= 1.01）、中央値は3.75点でした。最高点は6点で最低点は1.5点でした。採録された論文の最高点は6点であり、最低点は3.5点でした。また、不採録論文の最高点は4点であり、最低点は1.5点でした。ボーダーラインとなった3点から5点の論文についてはすべて慎重に議論を行い、採否を決定しました。また、採録判定となったものは15件で、シェファーディング付きの採録となった論文は5件でした。

プログラム委員長として査読コメントや、査読者同士の議論を見ている限りでは、説明書の内容に基づいて査読が実施され、これによって不当に低いスコアが付けられているもの、不当に高いスコアが付けられているものがあまりない状態であったと考えられます。一方で、査読者間でスコアが割れているものについてはチーフプログラム委員会で慎重に議論を行い、採否を決定しました。

インタラクティブ発表について

インタラクティブ発表では、厳密な査読は行いませんが、特に優れた発表である「プレミアム発表」や、研究や論文の質に著しい問題のある問題論文を発見するために、全チーフプログラム委員／プログラム委員がスクリーニングを行いました。インタラクティブ発表では1論文につき4人のチーフプログラム委員／プログラム委員を割り当てました。その結果、233本の投稿から、43本をプレミアム発表、178本を一般発表として採択しました。また、一般講演発表から10件がデモ発表に参加します。プレミアム発表は、プログラム委員会選出のインタラクティブ発表賞の候補となり、発表当日にチーフプログラム委員団の巡回審査を経て受賞が決定します。

インタラクティブ発表（デモ）とインタラクティブ発表（ポスター）のスクリーニングの結果の詳細は以下の通りです。

インタラクティブ発表（デモ）発表件数 198件

プレミアム発表	37
一般	151
一般講演発表デモ	10
不採択	8
投稿不備	2

インタラクティブ発表（ポスター）発表件数 33件

プレミアム発表	6
一般	27
不採択	1
投稿不備	1

昨年に引き続き、過去最大規模の発表件数（231件）となり、インタラクションコミュニティの盛況を象徴しているように思われます。

スクリーニング結果について、もう少し詳しく見ていきます。口頭発表同様に、査読者には説明書において、スクリーニングの基準を以下のように示しました。

点数	総評	判定
5	インタラクティブ発表賞候補	プレミアム枠で発表すべきである
4	プレミアム枠の発表として適切	プレミアム枠での発表が期待される
3	インタラクティブ発表として適切	標準的なインタラクティブ発表である / あえてプレミアム枠に推薦しなくても良い
2	インタラクティブ発表として質が劣る	通常のインタラクティブ発表が相応しい
1	インタラクティブ発表として不適切	何かしらの問題があり、インタラクティブ発表として適切ではない

インタラクティブ発表では査読者間の議論はありませんので、結果は一つだけです。まずインタラクティブ発表（デモ）とインタラクティブ発表（ポスター）の得点分布を示します。インタラクティブ発表（デモ）の平均点は2.88（SD=0.73）であり、中央値は2.75でした。最高点は4.75で、最低点は1でした。プレミアム発表採択の最低点は3.5でした。インタラクティブ発表（ポスター）の平均点は2.93（SD=0.67）であり、中央値は3でした。最高点は4で、最低点は1.5でした。プレミアム発表採択の最低点は3.75でした。

ボーダーライン付近でのプレミアム発表の選定基準としては、査読者間で評価が割れているものについて、不当に低い点数を付けていると思われる査読者がいる場合には、本来はさらに高い得点であったと考えられるのでプレミアム枠が相当と判断し、また一人でも5点（最高点）を付けているものについては不当に高く評価していなければプレミアム発表としました。

最後に、インタラクティブ発表（デモ）とインタラクティブ発表（ポスター）を統合したデータを示します。平均点は2.88（SD=0.71）であり、中央値は3でした。4点以上の得点を得た発表は23件（9.87%）であり、3.5以上の得点を得た発表は59件（25.32%）ありました。

まとめ

私個人としては、約2年にもわたる仕事がついに終わることで少しほっとした気分であるとともに、これらの試みが上手く機能していれば良いと願うばかりです。是非良い点も悪い点もフィードバックを頂けますと幸いです。明確に失敗だと思われるものについてはスパッとやめて頂くのが良いと思いますし、良いものは是非とも残して頂ければと思っています。
最後になりますが、プログラム編成のためには数多くのプログラム委員のみなさま、チーフプログラム委員のみなさまのご協力が必要となります。今年に関しましても93名の委員のみなさまに大変な作業をお願いし、この結果として素晴らしいプログラムが完成したと思っています。また、ご投稿頂いた著者のみなさまがいて、はじめて学会のプログラム編成が可能となるものだと思っています。関係いたしますすべてのみなさまに感謝申し上げて、プログラム委員長からのメッセージとさせて頂きます。

---

インタラクション2018 プログラム委員会

---