ローブナー賞

2004年のローブナー

ロブナー賞は、人工知能に関する年次コンテストで、審査員が最も人間に似ていると判断するコンピュータプログラムに賞が授与されました。コンテストの形式は、標準的なチューリングテストの形式です。各ラウンドでは、人間の審査員がコンピュータプログラムと、コンピュータを介して人間と同時にテキストによる会話を行いました。審査員は、その応答に基づいて、どちらが人間に近いかを判定しました。

このコンテストは1990年にヒュー・ローブナーが米国マサチューセッツ州のケンブリッジ行動研究センターと共同で開始した。2004年と2005年にはニューヨーク市にあるローブナーのアパートで開催された。人工知能の分野では、ローブナー賞はやや物議を醸している。最も著名な批評家であるマービン・ミンスキーは、同賞を分野の発展に役立たない宣伝行為と呼んだ。[1] 2014年以降、[2]は AISB がブレッチリー・パークで開催している。[3]また、フリンダース大学、ダートマス大学、ロンドン科学博物館、レディング大学、英国文化都市デリーのアルスター大学マギー・キャンパスとも提携している。

2019年の最終選考では、審査形式が変更されました。審査員は存在せず、代わりにチャットボットが一般の審査員によって行われ、人間の参加者はいませんでした。[4]この賞は2020年をもって廃止されたと報じられています。[5]

賞品

当初、コンテストで最も人間らしいプログラムに2,000ドルが授与されました。2005年には3,000ドル、2006年には2,250ドルに増額され、2008年には3,000ドルが授与されました。

さらに、これまで授与されたことのない、一度限りの賞が2つありました。2万5000ドルは、審査員が実際の人間と区別できず、かつ審査員に人間がコンピュータプログラムであると確信させる最初のプログラムに贈られます。10万ドルは、テキスト、視覚、聴覚入力の解読と理解を含むチューリングテストにおいて、審査員が実際の人間と区別できない最初のプログラムに贈られます。この賞の獲得をもって、コンテストは終了する予定でした。

競技規則と制限

ルールは長年にわたって変化し、初期の大会では制限された会話のチューリングテスト[6]が特徴でしたが、1995年以降は議論は制限されなくなりました。

2007年の3人の出場者、ロバート・メデクザ、ノア・ダンカン、ロロ・カーペンター[7]については、スポンサーが技術水準を評価するためにいくつかの基本的な「選考質問」を用いた。これには、時間や競技のラウンドなどに関する簡単な質問、一般知識（「ハンマーは何に使うのですか？」）、比較（「電車と飛行機、どちらが速いですか？」）、そして同じ会話の前の部分の記憶力を示す質問などが含まれていた。「すべての名詞、形容詞、動詞は、12歳未満の子供や青少年に適した辞書から選びます。」出場者は、これらの質問に「知的に」答える必要はなかった。

2008年、スポンサーは初めてコンテストに予選フェーズを導入することを許可しました。これにより、これまでは認められていなかったWebベースのエントリーも参加可能となり、招待された様々な審査員によって審査されます。現行のルールでは、審査員の選出方法や指示方法については規定されていません。審査員（システムを審査する）には制限時間があり、2003年のコンテストでは1エンティティあたり5分、2004～2007年のコンテストでは1ペアあたり20分以上、2008～2009年のコンテストでは人間とプログラムとの同時会話に5分、2010年からは同時会話が25分に延長されました。

批判

この賞は長い間、さまざまな理由からこの分野の専門家から軽蔑されてきた[8] 。

これは多くの人から宣伝活動だとみなされている。[9] [10]マービン・ミンスキーは、この競争を止められる者に「賞金」を与えると痛烈に批判した。ローブナーは、ミンスキーが競争を止めるために賞金を出すということは、事実上彼が共同提案者になったのと同じだと冗談めかして反論した。[11]

コンテストのルールは、資格の低い審査員が迅速な判断を下すことを奨励してきました。審査員と出場者とのやり取りは当初非常に短く、例えば質問時間は実質的に2.5分で、質問は数問しか許されていませんでした。[9]質問は当初、出場者が選択した単一のトピック、例えば「気まぐれな会話」などに制限されていました。 [8] [12]これは、標準的なチャットボットのトリックに適した領域でした。[13]

コンテスト参加者は理解力や知性を求めるのではなく、基本的なエリザ式のトリックに頼ります。[9] [14]そして、成功した参加者は欺瞞と偽装が報われることを発見します。[15]

コンテスト

過去のコンテストの詳細については、記事の履歴をご覧ください。一部のコンテストについては、一部抜粋してご紹介します。

2003

2003年、このコンテストはサリー大学デジタルワールドリサーチセンターのリチャード・H・R・ハーパー教授とリン・ハミル博士によって主催されました。[16]

チューリングテストに合格したボットはいませんでしたが、優勝者はユルゲン・ピルナー氏が作成したJabberwockでした。2位はエルボット（フレッド・ロバーツ、Artificial Solutions）。3位はジャバーワッキー（ロロ・カーペンター）でした。

2006

2006年、このコンテストはティム・チャイルド（TelevirtualのCEO）とフーマ・シャーによって主催されました。[7] [17] 8月30日に4人のファイナリストが発表されました。

  • ロロ・カーペンター
  • リチャード・チャーチルとマリー＝クレア・ジェンキンス
  • ノア・ダンカン
  • ロバート・メデクザ

コンテストは9月17日、ユニバーシティ・カレッジ・ロンドンのトリントン・プレイス・キャンパスにあるVRシアターで開催されました。審査員には、レディング大学のサイバネティクス教授ケビン・ワーウィック、人工知能教授ジョン・バーンデン（バーミンガム大学のメタファー研究の専門家）、弁護士ビクトリア・バトラー＝コール、ジャーナリストのグラハム・ダンカン＝ロウが参加しました。ダンカン＝ロウのコンテスト体験記は、テクノロジー・レビュー誌の記事で読むことができます。[18] [19]優勝者は、Jabberwackyをベースにしたロロ・カーペンターの作品「ジョーン」でした。

2007

2007年のコンテストは10月21日にニューヨーク市で開催されました。審査員は、コンピュータサイエンス教授のラス・アボット、哲学教授のハリー・フィールド、心理学助教授のクレイトン・カーティス、そして英語講師のスコット・ハッチンズでした。[20]

チューリングテストに合格したボットはありませんでしたが、審査員は 3 人の出場者を次のようにランク付けしました。

  • 1位：ウルトラハルの作者、ロバート・メデクザ
  • 2位：ノア・ダンカン、個人エントリー、クレタスの作者
  • 3位: IcognoのRollo Carpenter（Jabberwackyの作者）

優勝者には賞金2,250ドルと年間メダルが授与され、準優勝者にはそれぞれ250ドルが授与されました。

2008

2008年のコンテストは、ケビン・ワーウィック教授が主催し、フーマ・シャー氏がコーディネーターを務め、10月12日に英国レディング大学で開催されました。[21] 2008年6月から7月にかけて、100名を超える審査員による予備選考を経て、13の応募作品の中から6つの決勝進出者が選出されました。招待された5人が決勝に出場しました。

  • ジェローム兄弟、ピーター・コール、ベンジー・アダムス
  • エルボット、フレッド・ロバーツ /人工ソリューション
  • ユージン・グーストマン、ウラジーミル・ヴェセロフ、ユージン・デムチェンコ、セルゲイ・ウラセン
  • ジャバーワッキー、ロロ・カーペンター
  • ウルトラ・ハル、ロバート・メデクザ

決勝では、審査員それぞれに5分間の時間が与えられ、2つの隠れた存在と分割画面で同時に会話を行った。Artificial Solutions [23]のElbot [22]は、人間との比較において、12人の審査員のうち3人を騙して人間だと思わせることで、2008年のローブナー賞（最も人間らしい人工会話実体）の銅賞を受賞した。これは、プログラムがチューリングテストに合格したと判断されるために従来求められている30%という数値に非常に近い。Eugene Goostman [24]とUltra Hal [25]は、それぞれ1人の審査員を騙して人間だと思わせた。

タイムズ紙の記者ウィル・パヴィアは、ローブナー・テストの審査員としてエルボットとユージンに騙されたという自身の経験について書いている。[26]ケビン・ワーウィックとフーマ・シャーは、並列チューリングテストについて報告している。[27]

2009

2009年度ローブナー賞コンペティションは、2009年9月6日、英国ブライトンのブライトン・センターにて、Interspeech 2009カンファレンスと併せて開催されました。2009年度の賞金は3,000ドルでした。

参加者はデビッド・レヴィ、ロロ・カーペンター、モハン・エンバーで、この順でゴールしました。

作家のブライアン・クリスチャンは、 2009 年のローブナー賞コンテストに人間の協力者として参加し、そのコンテストでの経験を著書『The Most Human Human』に記しました。

2010

2010年のローブナー賞コンペティションは、10月23日にカリフォルニア州立大学ロサンゼルス校で開催されました。2010年は20回目の開催となり、受賞者はブルース・ウィルコックスと「スゼット」でした。

2011

2011年のローブナー賞コンペティションは、10月19日に英国デヴォン州エクセター大学で開催されました。2011年の賞金は4,000ドルでした。

決勝に残った4人のファイナリストとそのおしゃべりボットは、ブルース・ウィルコックス(ロゼット)、アディーナ・ミニョーナ (ゾーイ)、モハン・エンバー (チップ・ヴィヴァント)、ロン・リー (チューター) で、この順で終わった。

その年は、ジョージア＝メイ・リンドフィールド、ウィリアム・ダン、サム・キート、キリル・ジェルデフというジュニア審査員が新たに加わりました。ジュニアコンテストの結果はメインコンテストとは大きく異なり、チャットボットのTutorとZoeが同率1位、チップ・ヴィヴァントとロゼットがそれぞれ3位と4位となりました。

2012

2012年のローブナー賞コンペティションは、アラン・チューリング生誕100周年を記念して、5月15日にイギリス、バッキンガムシャー州ブレッチリーのブレッチリー・パークで開催されました。2012年の賞金は5,000ドルでした。現地での運営は、1997年と2009年にローブナー賞を受賞したデイビッド・レヴィ氏が担当しました。

決勝に残った4人のファイナリストとそのチャットボットは、Mohan Embar (Chip Vivant)、Bruce Wilcox (Angela)、Daniel Burke (Adam)、M. Allan (Linguo) の順でした。

その年、エクセター大学のコンピュータサイエンス学部のチーム（エド・キードウェル、マックス・デュペノア、ケント・マクリモント）が、会話のライブウェブキャストを初めて実施しました。[28]

2013

2013年ローブナー賞コンペティションは、アイルランド島で唯一、9月14日に英国北アイルランド、デリーのアルスター大学マギー・カレッジで開催されました。

決勝に残った4人のファイナリストとそのチャットボットは、スティーブ・ワースウィック氏（Mitsuku）、ロン・C・リー博士（Tutor）、ブルース・ウィルコックス氏（Rose）、ブライアン・リグスビー氏（Izar）の順でした。

審査員は、ロジャー・シャンク教授(ソクラテス芸術学院)、ノエル・シャーキー教授(シェフィールド大学)、ミンフア (ユーニス) マ教授 (ハダースフィールド大学、当時グラスゴー大学)、マイク・マクティア教授 (アルスター大学) でした。

2013 ジュニア ローブナー賞コンペティションでは、チャットボットの Mitsuku と Tutor が同率 1 位となり、Rose と Izar がそれぞれ 3 位と 4 位になりました。

2014

2014年ローブナー賞コンペティションは、2014年11月15日（土）、イギリスのブレッチリー・パークで開催されました。イベントはスカイニュースによって生中継されました。ゲスト審査員は、テレビ司会者兼アナウンサーのジェームズ・メイ氏でした。

2時間にわたる審査の結果、ブルース・ウィルコックスの「Rose」が優勝作品に選ばれました。ブルースには賞金4,000ドルと銅メダルが授与されます。順位は以下の通りです。

Rose – ランク 1 ($4000 & 銅メダル); Izar – ランク 2.25 ($1500); Uberbot – ランク 3.25 ($1000); Mitsuku – ランク 3.5 ($500)。

審査員は、カンタベリーのクライスト・チャーチ・カレッジの作家兼心理学上級講師であるイアン・ホッキング博士、ベッドフォードシャー大学のコンピュータサイエンスとテクノロジー講師であるギタ・クアドリ・モステファウイ博士、テレビ司会者兼アナウンサーであるジェームズ・メイ氏、そしてベッドフォードシャー大学のUCMK学部長であるポール・サント博士です。

2015

2015年のローブナー賞コンペティションでは、再びブルース・ウィルコックスの『ローズ』が優勝した。[29]

審査員は、ニューサイエンティストの物理科学記者ジェイコブ・アーロン氏、BBCの技術担当記者ロリー・セラン・ジョーンズ氏、映画監督兼写真家ブレット・マーティ氏、作家アリアドネ・タンピオン氏です。

2016

2016年ローブナー賞授賞式は、2016年9月17日にブレッチリー・パークで開催されました。2時間にわたる審査の後、最終結果が発表されました。順位は以下の通りです。

  • 1位：みつく【30】
  • 2位：家庭教師
  • 3位：ローズ

2017

2017年のローブナー賞授賞式は、2017年9月16日にブレッチリー・パークで開催されました。このコンテストは、従来の1文字ずつのやり取りではなく、新しいメッセージごとのプロトコルが採用された初めてのコンテストでした。順位は以下の通りで、Nao_(ロボット)によって発表されました。

  • 1位：みつく【30】
  • 2位：ミッジ
  • 3位：ユーバーボット
  • 4位：ローズ

2018

2018年のローブナー賞は、2018年9月8日にブレッチリー・パークで開催されました。これは、伝統的なチューリングテスト形式での最後の開催であり、ブレッチリー・パークでの最後の開催でもありました。順位は以下の通りです。

  • 1位：みつく【30】
  • 2位：家庭教師
  • 3位：コロンビーナ
  • 4位：ユーバーボット

2019

2019年のローブナー賞は、コンピューターの創造性を探求する大規模な展覧会の一環として、9月12日から15日までスウォンジー大学で開催されました。コンテストの形式は、選抜された審査員と人間による従来のチューリングテストから、小学生を含む一般の人々が、ボットが人間ではないことを事前に知った上でボットと対話できる4日間のテストセッションに変更されました。通常のファイナリスト4台ではなく、17台のボットが参加しました。スティーブ・ワースウィックはMitsukuで5度目の受賞を果たし、ギネスブックにも登録されました。[31]

選抜された審査員団も審査を行い、最も気に入った作品に投票しました。順位は以下のとおりです。

最も人間らしいチャットボット:

  • 1位：みつく[30] – 24点
  • 2位：Uberbot – 6ポイント
  • 3位：アンナ – 5ポイント

最高のチャットボット

  • 1位：みつく[30] – 19点
  • 2位：Uberbot – 5ポイント
  • 3位：アルコン – 4ポイント

受賞者

受賞者の公式リスト。[32]

年勝者プログラム
1991ジョセフ・ウェイントラブ「気まぐれな会話」[33]（PCセラピスト）[34]
1992ジョセフ・ウェイントラブPCセラピスト
1993ジョセフ・ウェイントラブPCセラピスト
1994トーマス・ウェイレンヒント
1995ジョセフ・ウェイントラブPCセラピスト
1996ジェイソン・ハッチェンズヘックス
1997デビッド・レヴィコンバース
1998ロビー・ガーナーアルバート・ワン
1999ロビー・ガーナーアルバート・ワン
2000リチャード・ウォレス人工言語インターネットコンピュータエンティティ（ALICE）
2001リチャード・ウォレス人工言語インターネットコンピュータエンティティ（ALICE）
2002ケビン・コップルエラ
2003ユルゲン・ピルナージャバウォック
2004リチャード・ウォレス人工言語インターネットコンピュータエンティティ（ALICE）
2005ロロ・カーペンタージョージ（ジャバーワッキー）
2006ロロ・カーペンタージョーン（ジャバーワッキー）
2007ロバート・メデクザウルトラハル
2008フレッド・ロバーツエルボット
2009デビッド・レヴィもっともっとやる
2010ブルース・ウィルコックスシュゼット
2011ブルース・ウィルコックスロゼット[35]
2012モハン・エンバーチップ・ヴィヴァント[36]
2013スティーブ・ワースウィックみつく[30]
2014ブルース・ウィルコックス薔薇
2015ブルース・ウィルコックス薔薇
2016スティーブ・ワースウィックみつく[30]
2017スティーブ・ワースウィックみつく[30]
2018スティーブ・ワースウィックみつく[30]
2019スティーブ・ワースウィックみつく[30]

参照

参考文献

  1. ^ 人工的な愚かさ、Salon.com、2003年2月16日
  2. ^ ブレッチリー・パークで開催されるチューリングテストのコンテスト「ローブナー賞」 – エクセター・ブログ、2014年12月8日閲覧
  3. ^ Loebner Prize、AISBウェブサイト、2018年1月23日閲覧
  4. ^ ウェイクフィールド、ジェーン（2019年9月14日）「AIを人間らしくしようと競い合う趣味人たち」BBCニュース。 2020年7月23日閲覧。
  5. ^ ウェイクフィールド、ジェーン（2020年11月1日）「ロボットは退屈：AI搭載のぎこちない初デート」BBCニュース。 2021年9月22日閲覧。
  6. ^ 「考える機械たち」シーズン4、エピソード3。Scientific American Frontiers。Chedd -Angier Production Company。1993-1994年。PBS 。 2006年1月1日時点のオリジナルよりアーカイブ。
  7. ^ ab “Home Page of the Loebner Prize”. 2017年9月14日. オリジナルより2017年9月14日時点のアーカイブ。
  8. ^ ab Powers, David (1998). 「トータル・チューリング・テストとローブナー賞」ACLアンソロジー. 2016年5月29日閲覧。
  9. ^ abc フロリディ, ルチアーノ; タッデオ, マリアロザリア; トゥリリ, マッテオ (2009). 「チューリングの模倣ゲーム：すべての機械と一部の審査員にとって依然として不可能な挑戦 ― 2008年ローブナーコンテストの評価」Minds and Machines . 19 (19): 145– 150. CiteSeerX 10.1.1.672.7417 . doi :10.1007/s11023-008-9130-6. S2CID  7888490. 
  10. ^ サンドマン、ジョン（2003年2月27日）「人工的な愚かさ」Salon誌。2012年7月20日時点のオリジナルよりアーカイブ。2016年5月29日閲覧。
  11. ^ ミンスキー、マーヴィン. 「1995年ミンスキー・ローブナー賞剥奪発表」 . 2016年5月29日閲覧。
  12. ^ Shieber, Stuart M. (1993). 「制限付きチューリングテストからの教訓」 . 2024年4月2日閲覧。
  13. ^ フィッシャー、リチャード（2012年5月16日）「ローブナー賞受賞にもかかわらず、チャットボットは説得力に欠ける」ニューサイエンティスト誌。 2016年5月29日閲覧。
  14. ^ Serck, ZLinda. 「コンピューターは考えることができるか？」BBC . 2016年5月29日閲覧。
  15. ^ Stephens, Kenneth R. 「ローブナー・コンテストは会話システムについて何を教えてくれたのか？」(PDF) www.behavior.org Operant WebSites, Inc 2016年5月29日閲覧。
  16. ^ 「ドイツのチャットボットは『最も人間的』」BBCニュース、2003年10月20日。2024年12月27日閲覧
  17. ^ 「会話、欺瞞、そして知性」humashah.blogspot.com。
  18. ^ 人間になる方法、テクノロジーレビュー、2006年9月20日
  19. ^ ロブナー賞、loebner.net
  20. ^ 第17回ローブナー人工知能賞、loebner.net
  21. ^ 「ローブナーは現在建設中です」。
  22. ^ “Elbot the Robot”. www.elbot.com . 2015年1月4日時点のオリジナルよりアーカイブ。2023年2月12日閲覧。
  23. ^ 「Teneo.ai | コンタクトセンターAIの再定義」。Teneo.Ai – すべての電話をブランドとのラブストーリーに変える。
  24. ^ “Eugene Goostman”. 2017年6月17日時点のオリジナルよりアーカイブ。2008年10月21日閲覧。
  25. ^ “ザバウェア – Ultra Hal 7.0”. www.zabaware.com。
  26. ^ パヴィア、ウィル（2008年10月13日）「機械が大量チューリングテストで人間に挑む」www.thetimes.com。
  27. ^ 「並列ペアチューリングテスト」。
  28. ^ “2012 Loebner Prize Webcast”. 2012年5月18日時点のオリジナルよりアーカイブ。2012年5月15日閲覧。
  29. ^ 「チャットボット・ローズが2015年のローブナー人工知能賞を受賞」BBCニュース。 2016年5月29日閲覧。
  30. ^ abcdefghij 「みつくチャットボット」.
  31. ^ 「ローブナー賞最多受賞｜ギネス世界記録」。
  32. ^ ロブナー賞受賞者、AISB（人工知能と行動シミュレーションの研究協会）
  33. ^ 「考える機械たち」シーズン2、エピソード5。Scientific American Frontiers。Chedd -Angier Production Company。1991-1992年。PBS 。 2006年1月1日時点のオリジナルよりアーカイブ。
  34. ^ “Loebner”. 2017年4月5日.
  35. ^ 「ローブナー賞を受賞したロゼットについて読む - ブルース・ウィルコックス著 チャットボット」。2013年5月15日時点のオリジナルよりアーカイブ。 2011年10月29日閲覧。
  36. ^ “チップ・ヴィヴァン – モハン・エンバー著”.
  • 新しい公式ウェブサイト
  • 旧公式サイト（利用不可）
  • ジョン・マークオフ（1993年1月10日）「カクテルパーティーでの会話 ― コンピューターとの会話」ニューヨーク・タイムズ紙。1992年の受賞者との会話。テーマ：男性と女性
  • チャールズ・プラット（1995年4月）「人間であるということは、いったいどういうことか？」Wired誌。
  • シャー、フーマ（2008年10月）「2008年ローブナー賞：神話と誤解」
  • クリスチャン、ブライアン（2011年3月）「心 vs. 機械」アトランティック誌
  • ニコリッチ、ダンコ (2019年6月13日). 「チューリングテストはまだ意味があるか？チューリング時間はどうか？」Medium .
「https://en.wikipedia.org/w/index.php?title=Loebner_Prize&oldid=1324014132」より取得