第4回AI王 クイズAI日本一決定戦

▶AI王とは
知識に基づいた質問応答システムの実現は、自然言語処理の大きなゴールの一つです。しかしながら、その基盤となるシステム開発や評価のためのリソースの多くは英語を対象としたものであり、日本国内における研究を律速する一つの要因となっています。「AI王 〜クイズAI日本一決定戦〜」では、国内の質問応答研究を活性化することを目的に、クイズを題材とした日本語質問応答のデータセットを利用した日本語質問応答システムのコンペティションを開催しています。

▶ 第4回大会
◆「問題作成部門」
クイズイベントが盛り上がるような問題を作ることを目指します。

◆「早押し解答部門」
クイズ問題に対し、以下に少ない文字数で正解できるかを競います。

◆プログラム
00:00:00 待機
00:05:37 オープニング
00:23:39 参加システム発表 早押し解答部門
00:52:13 休憩
01:04:35 参加システム発表 問題作成部門
02:09:03 昼休憩
03:35:06 AI王 × クイズ王 エキシビションマッチ 早押し解答部門
04:22:27 休憩
04:34:19 AI王 × クイズ王 エキシビションマッチ 問題作成部門
05:04:59 休憩
05:14:59 最終結果発表・表彰式
05:37:23 クロージング

◆質問
コメントはYouTube Live のコメントを使用してください。
システム発表等に対する質問は、以下のリンクからお寄せください。
https://app.sli.do/event/wFpsFZBS1P8ziiypLbE4vM

◆アンケートへのご協力をお願い致します。
https://forms.gle/Her3QK6ShKuaNbUN7

▶Credits
◆ゲスト審査員
・鶴崎 修功（QuizKnock）
・仲野 隆也（株式会社キュービック）
・矢野 了平

◆本選出場AI
・Coming soon…

◆ 第4回AI王実行委員
委員長: 鈴木潤 （東北大学/理化学研究所）
委員:
・鈴木 正敏（株式会社Studio Ousia/東北大学）
・有山 知希（東北大学）
・赤間 怜奈（東北大学/理化学研究所）
・市川 尚志（キオクシア株式会社）
・鴨田 豪（東北大）
・田中 涼太（NTT 人間情報研究所/東北大学）
・徳久 倫康（株式会社baton）
・長谷川 拓（NTT 人間情報研究所）
・羽根田 賢和（東北大）
・森岡 靖太（キオクシア株式会社）

▶外部リンク
・大会HP: https://sites.google.com/view/project-aio/competition4
・Signate大会ページ: https://signate.jp/competitions/1230

▶問い合わせ先
・ AI王に関するお問い合わせは Google Group: jaqket at googlegroups.com までお気軽にお寄せください．
・Twitter アカウントでも情報を発信しています: @AioJaqket #AI王

オオッケーでしょうか はいたらえ皆様おはようございますおう ございますはいえっとそうしましたら えっとAIを食いAI日本一決定戦の第4 回コンペティション最終報告会を始めさせ ていただき ます ますはいまず最初にあのオープニングの方 やらさせていただきますあの東大学の鈴木 と申しますよろしくお願いしますえっと まず最初に本日の予定についてなんです けれどもえまずこのオープニングをやり ましてその後に午前中はえ参加システムの 発表をさせていただきますでその後にえ エキシビジョンをやりまして最後にえ結果 発表と表彰いたしましてクロージングと させていただき ますえすごく簡単な内容ですけどま最初の 参加システム方向に関してはえ早し部門と え問題作成部門がありますのでえそのえ 参加してれたシステムに対してどのように クイズをま解いてるのか作成してのかって いうものをええそれぞれのチームに解説し ていただきたいと思っていますえ続きまし てえキビエキシビジョンとしてえコンペに え参加していたシステムとえ人間あるいは クイズ王の方とえま対決していただくと いうこととあとえクイズAIが作った問題 をえクイズの方に解いていただくという ことのエをしたいと思っていますで最後に え第4巻コンペティションのえ表彰式をえ 取行いたいと思ってい ますはいでえっとここで簡単にあのこの プロジェクトのえ会社の趣旨というものを 説明させていただきたいと思ってい ますでこのAIプロジェクトですけども え1番メインの目的としてはえ日本語に よるクイズを題材としたえ質問応答研究と いうことでやらさせていただいていますで これが始まったのが2020年ま19年 ぐらいからえ構想がありましてま2020 年から大会があったんですけどもえっと その当時のまずその背景同期目的のあたり を少し説明させていただくんですけども まずその質問応答というものはま自然言語 処理の研究のま主要なテーマでしてで えっとま200011年12年とかあたり から始まったその新相学習の技術各地に よってま業省の分野でもその給研究部分と いうものがまた概念しておりまし たでただえっとそのま2019年20年 当時のことですけどもえっと日本の中での その質問研究っていうのはそれほどまえ 盛り上がっていなかったっていうのがあり ましてでそのま英語県あるいはその

アメリカなどで非常に流行っていたんです けどもまその再先体の研究というものま 追立できる研究機関が今日本にほぼなかっ たということでまその世界とのま流行との 帰りがあるなっていうことを思いましたで それを受けてえま日本あるいは日本語のま 質問と研究を促進するためにえ最新のま旧 技術に触れてえそれをま習得する場という のをま提供したいという風に我々は思って いましたでそのためにえ日本語のリソース 例えばデータですとかプログラムとかま 知見というものを増やすためにえあるいは その研究者の人口やすためにま色々なえ 活動というものをしてきましたでここで あの 質問応答の研究ということ言ってるんです けどもなぜクイズを題材に選んでるの かっていうことですけどもまこれあの要因 に推測していただけるとは思うんですがま クイズ日本だとそのテレビ番組とかで非常 に長い歴史ありましてでまクイズ今今でも すごく人気があると思いますでえっとこう いうようなえ研究テーマですとその若手の 研究者ですとかま学生さんとかがえ自分の 研究としてまやってみたいという興味を 持っていただけるんじゃないかというのは まそういう目論みがありますでもちろん そのクイズっていうのは一般受けが良さ そうていうますのでえっとこの研究をする ことであクイズの研究あクイズエアの研究 してるねっていうのですごく受け入れて おられるっていうことがもあるだろうって いうことで選びましたでまそれ以外にも 単純にそのデータをま眺めているだけでも すごく勉強ま豆知識というかトビア的な ものを勉強できるとかあとはそのクイズと いうものそのものに例えばその早押し クイズとかですとその理論とか戦略みたい なテクニックというものがあるのでまそう いったものをいかにしてそのAIの中に 入れていくかということでま色々なこう 取り組みはできるんないかということでま こういうものを選んだというものがあり ますでこれまでにあのデータですとかま ベースラインですとかま色々なものをその 軍営委員会として提供しておりましてで これをま使えばま誰でもすぐにま質問オの 研究あるいはクイズの研究っていうのに 取りかかれるよにていうものをま提供して いてあこれまで提供してきまし たはいで え先ほどはその始まった当時のこと話し ましたけどあの皆さんご存知そ最近また 新たな展開があるかなっていう風に思って いましてもちろんあのこのAIの

コンペティションていうのも今回今年でま 4回目になりますでそれ以外にもあの 世の中の情勢としてはま2022年の11 月末ぐらいにそのチャットジビ無力公開さ れてからま非常にそこれが盛り上がってき てえま色々なところにま活用されてきてる と思いますでそれを受けてまその大規模 言語モデルま前世の時代っていうものは今 突入していると思いましてまこういうよう な技術のま確信を受けてまたイズ合という ものは新たな時代にま突入してるじゃない かという風に思っていますでそれを受けて 今回の第4回コンペティションということ になり ますはいで第4回目のコンペティションの ま目的あすいませんタスク設定と目的です けれどもえま技術の確信を受けてえ2つの 部分っというものをえ考えましたで1つは え早押し回答部分っというものですでこれ あの皆さんあの想像できしていただける ようにま早押しクイズの形で問題をいあ システム作ってえいていただくということ になっていますでもう1つはえっと問題 作成部門ということでえクイズまクイズ AIがま何かお題を与えられてまそれに 対して何かいい問題を作るというようなえ タスク設定になってい ますでま最初にあの簡単に林回答部分に ついて説明させていただきたいと思い ますであのこれはすごく簡単なルールなん ですけれどもえっととにかくあらゆる情報 してまクイズ問題に素早く性格に答えと いうシステムを作ってくださいということ になりますでえクイズ問題っていうのは あの通常テレビ番組とかでよく使われる ようなあのえハクイズあ回答するための クイズになってましてえっと実際にその クイズ家の方に作っていただいたような 問題になっていますえまこれはあの容易に 想像していただけると思うんですけども えっとこのような形で え問題とくという風になっていますで えっとルールについてこれもあの詳細はえ いくつもあるんですけどもま簡単にそどの ようにやってるかっていうのをま分かって いただけるぐらいのレベルのえ説明をさせ ていただきますけどもまずそのシステムに はその問題分が1問ずつ当たりるという風 に前提で考えてましてま例えばその2本で 1番高い山みたいなまこのような形ま1 文字ずつシステムに与える時にえっと全て の文字でま答えるか答えないかというの 判断してあシステムに判断してもらってで もしそれ回答出すとなったらえ正解と目法 まシステムは出すというような形になって

いますますでこの時にあのスコアのサと いうのを決めておりましてまず1つはえ とにかくその問題にどこのあのところでも 正解することはできたらえ純粋に1点え 獲得できるとでもう1つはえっと ポジションスコアというこに書いてあり ますけどもえとにかくその少ない文字数の ところでえ問題解くことができたらより 高い点が取れるということになっています でこれはあの元々全体あえっとそれぞれの 質問のえ文字数がま例えばNだと思った時 にえそれ前からえ1文字きた時にそのK 文字目でえ生活することができたらあ分の nの値を1から引出すかというのがま加算 されるということになりますえっとま仮に 0文字目であればま1点足されるみたいな 感じになるんですけどもえっとN文字目 まで行ってしまったらま全部問題見たらま そこのポジションスカっていうのはえ加算 さないま0.というな形になっていますで これのえっとアラシスクアっていうものと ポジションスクアっていうものの足した値 を最終的なスコアとしてえ順位をつけと いうようなことをしてい ますえその時にえシステムを作る時には えっと使っていいデータや理想というのは 一応え決められてましてえっと使っている データとしてはま無償で公開されてる データでえ誰でも使えるものというものを ま基準にしてま使ってもらうということに なっていますつまりそのある特定の会社 ですとかま組織だけが使えるデータという のは使ってはいけませんというのがここで 言ってることですでもう1つはえっとま そうですねえっとすごく大規模なえ クラスターを持ってるところが勝つみたい なこにならないようにえ単一の計算機内の リソースだけでどさせるとことをえ条件に していますでもう1つはえっと例えばえ 最近ですとオープAのAPIのようなもの をえ実行時にえ使えなっていうことにする ためにネットワーク利用っていうものはえ 使っていけなてことにしていますつまり そのえ単一の計算機の中で動くも範囲でえ 問題を解かなくといけないということに なってい ますでえ第4回のコンビネーションでのえ システムの評価ですけどもえ2種類の評価 をしておりましてまず1つはえっと リーダーボードていうものを用意して えっとその上で順位を競っていただきまし たでこれはあのシグネさんのえサイト使わ せていただいてましてえまシステムが解い たえ問題を回答をアプデアップロードする とえそれに対してスコアがついてま順位が

決まるというな形になってますでこれは あの日々のえシステムのまどれぐらい うまくできてるかというものを評価しての ために使ってもらいましてでもう1つ最終 評価というのをしていますで最終評価と いうのはえそれぞれのチームにまドッカー ファイルの形でえシステムそのもの アップロードしてもらって運営側で実行 することでえ問題分ですとかその使ってる 回答ってのは全くえシステム作っていく人 にはま非公開の状態でま評価しますという ことをしてますでこれに対してはえっと 人手で全数チェックをしておりますのでま 別解とかも含めてえ正確に評価をしてい ますでこちらのえ結果を使って順位を決め ますで最後にこの結果発表させていただき ますで えそうですねすいませんえっとこ間違えて 早早回答部ですねすいませ間違えてますの え参加者ですけれどもえ最低1回投稿者 チームというのが7チームありまして えっとその中で順位を決めていますえ 詳しいことはあのシグネさんのえリーダー ボというのは見ていただけばという風に 思いますで続きましてえ問題作成部門です けれどもえ問題作問の目的としてはま文法 などが正しくてま嘘がなくテーマに沿った 面白いクイズをま自動作成するという システムを作っていただくとになってい ますでこちらに関しましてはえっと今回 初めてのえ取り組みでかつえこのように 成績AIをま使って評価するコンペティ今 これまであまり例が少なくてえどのように ま評価していくばなかなか難しいとこあり ますのでとりあえずお試しの開催というえ 立ち位置でやらさせていたいただいてい ますでルールといたしましてはまクイズに 対する題てのをま提示しましてでそれに 関連するクイズをま作っていただくとで 目安としてはその20問のクイズとその 回答っていうのを大体30分以内でえ出力 するなモデルっていうのを作成して いただきくださいというようなえ指示に なってい ますでこの時にも利用できるデータという のは先ほどのえ話し回答部門と同じでえ 一般に公開されてるものでえ特定の組織が だけが使われだてのは使わないでください ということになっていますでこちらの場合 は えっとクラウドさのえサービスなどは使っ て良いということにしておりましてえま 例えば有名なそのオープAのAPIなど 使って問題作成をしていただいても構わ ないえただしえっとまここもお金が

たくさん持ってるところは勝つみたいな ことがならないようにえある程度の一定の 制限を設けて作っていただくということに してい ますはい でえ評価に関してですけどもえこの評価と いうのはえまシステムが文章クイズ問題を 作成するのでそれでなかなか自動評価と いうの難しいというのがありますので人間 が主観評価で評価することにしていますで こちらはあの実行員でかつそのクイズにえ 成通しておりますえ審査員が点満点で評価 するとことにしていましてまこちらにえ 基準などがありますこちらもあのえサイト の方にますので詳しいことは見て いただければと思いますがまえ例えばその え文章として正しいかですとかそのテーマ として正しいかとかあとはえ面白い問題に なってるかといったようなことがまえ特典 としてえ加算されるようになってい ますえそしてえっとそれ以外に2番目のえ 評価としてえ今後行われるその エキシビジョンでえ回答者の方にそれぞれ 30点分持ち点で加算していただいてええ 最終的な評価をしたいという風に思ってい ますこちらのあの30点っというのはえま イベントがそのエビのイベントがま 盛り上がるかどうかみたいなところでえ 主観で評価していただくということを考え ていますでこちらもあの最終的にはえっと 本日のえ最後の表彰のところでえ結果を 発表したいと思ってい ます はいえそうです問題作成部門の方に関し ましてのイベントがま盛り上がるかどうか みたいなところでえ主観で評価して いただくということを考えてい ます失礼しましたはいでえコンペ参加 チームですけれどもえモデ作戦部門に関し ましてはえ8チームえ参加しております こちらもあの最終準じゃないですけどえ 詳しいことはサイトの方見ていただければ という風に思い ますでえこちらがえ今回の第4回の大の タイムスケジュールになっていたたんです けどもま2つの部分ありましてえまず開始 されたのは同じでえ10月6日で最初に コンビネーション開始ということにさして いただいて色々なルールですとかま ベースラインシステムですとかをま公開し たということになっていますでえ問題先も に関しまして11月30日にその予選って いうものがえこのこの期間に行われてたん ですけどもえまえそうですね上位のチーム はま本戦にけるということになっており

ましたでえ林回に関しましてはえ1月14 日に最終的なリーダーボードの投稿があり ましてでそこでシステムをフィックスして いただいてえ17日までに最終評価の システムというものをまえアプロードして いただくということにしましたでえ問題 作成部門の方も17日にえ本戦というのを いたしましてえその場でお題を出して問題 を作成していただいてえ時間以内に回答を あすいませんえっとクイズ問題作っていた ものをまえ提出していただくというような 形でえ評価していますで本日1月26日が 最終報告会としてえシステムの発表ですと かま病というものをやさせていただくと いうことになってい ますはいでこれあの簡単にあのこのえ コンペティションに対してえ実行委の方 から提供してリソースていうのは例えば データがまこれが規模のものがえ提供され てますでこちらまサイトを見ていただけれ ば誰でもえ自由にダウンロードして使う ことができるようになっていますそて えっと林回答部分と問題再部門に対して えっとベースラインのシステムを作って それもえ一般に公開されておりましてま それぞれのえことをえとりあえず動かして みたいと思ったらこのベースライン システムをまダウウンロードしていただい て動かすことができるようになっています はいという感じですこれで概ね オープニングのことに関してはおしまいな んですけどもえここからえ参加システム 発表とエキシビジョン最後にえ結果報告あ 結果発表というのをさせていただきたいと 思っていますはいで最後にえこちらなん ですけれどもえっとここからえ質問や コメントなどありましたらここに書いて ありましあのスライドドっていうものを 使って ええ投稿していただくようにしてい ますですのでま何か質問ですとかコメント などありましたらこちらの方にえ投稿して いただいという風に思っていますはいそう しましたらよろしいでしょうか 大丈夫ですかYouTubeのチャットが 今アクティベートになったので1回再 読み込みしてもらうとチャットが使える ようになるとん私が言ってもいいですか はいそうしましょうえっとYouTube でご覧になっている方々にえっと事務連絡 なんですがえライブチャットの方を先ほど 有効化しましたので えブラウザの方再読み込みしていただくと チャットの方が使えるようになるかと思い ます質問以外のえっとコメントとかえ応援

とかそういったものはこちらの YouTubeのチャットにお願いしたい と思います発表に対するえっと質問は えっと今画面にありますスライドの方から 投稿いただくとこちらでキャッチできます のでそのように住み分けをお願いします はいありがとうござい ますそうしましたらえ次 のシステム報告の方に移りたいと思います え準備しませ少々お待ちいただければと 思います [音楽] はいはいそれでは早押し回答部門の参加 システム報告セッションを始めたいと思い ますはいよろしくお願いしますえっと本 セシの発表は2件ありまして発表10分で 質疑応答が3分となってますで1回目の ベルが8分で2回目のベルが10分で最後 に13分でえっともう1度ベルがなります はいえっとそれではですねシラチームのご 担当者の方準備をお願いし ます杉浦さんお願いし ますこない反応が ない おちゃん 声杉杉さんあ あだめ か はい杉さん聞こえますかはい聞こえてます えっとスライドの共有をお願いしても よろしいでしょう か えっと はいはい見えてます発表の方よろしくお 願いしますはい えっとでは発表の始めさせていただきます よろしくお願いしますえシダチーム ですはいえっと自己紹介ですえっと名前を 浦といいまして名古屋大学のえ支1年を やっていますで昨年から関連の研究をして いましてまえっと論文もえっとはし術関連 のものを書かせていただいていますでま 趣味にもクイズとありましてま今回あの 自分の研究分野にも近いこともあってこの コンペティションに参加を決定したといっ たえ流れになっていますえ最初にお断りな んですけどえ今回えっとチームは4人なん ですが基本的に私1人で開発を行ってい ましてえっとちょドッカーのあのイメージ 立ち上げにすごいあの苦戦してしまい結局 APIが作れなかったのでえっと記録とし ては0点なんですけれどもえっとリーダー ボードの記録を参考記録としてあの発表 するしてもらえないかとい真をいただいた ので今回そのようにえっと発表させて

いただき ますとコンセプトの概要としてコンセプト 概要にいたしましてはえっとllmのみを 使ったアプローチというえっと方針で今回 参加しましたえっと自身の研究がえっと llmを用いたえっとクイズクイズに 対するQAっていうところなのでま自分の 現在の研究をに生かしたいといったま モチベーションでこのようなコンセプトと していますえっと概要としてはえっと 早押しをする時のモデルとえっと問題文が 読み切られた時のモデルの2つを用意して あとは式位置とルールベースによって えっと回答モデルの割り当てだったりとか えっと回答の出力を行うといった形になっ ていますでリーダーボード上の最終スコア が428.182となっていてま最終的に はえっともう少し上がっています はいえ戦略といたしましてはえっと ポジションスコアがですねあのアキュレC スコアにえ対してかなりボーナス点に近い 位にあると考えてえ3回目の回答は必ず 読み切ってから行いたいというえ考え方で え2回早押しして1回読み切るという戦略 をえ取り入れましたで加えてえ3回までま デメリットなしで回答できるというルール なのでえ3種類とも違う答えをできるだけ 出力したいというえことでま弾かれた今 までえと核進度などで弾かれた回答をえ 保存しておいてえっと現在のモデルの出力 が えっと過去に回答されたことがある内容 だった場合にその弾かれた回答の中から 最もえっと確信度が高かったものをえっと 代わりに持ってくるといった形でえっと3 種類のえっと回答をえほとんど確実にえ するといったえ構造をえと取り入れまし た開発システムの構造についてです えっとまずですねえっと質問文に対してえ 問題文が最後まで読み切られているかを 文末がはてなかどうかで判断をしますで えっと読み切られていたら読み切りモデル えそうでなければ早押しモデルにえ問題を 入力し ますでえっと早押しモデルにえっと回答を ハモデルに入力した時のえっとチャートな んですけれどもえ出力がえっとま答えと核 進度が出てくるような形になっていますで この核進度とえっと式位置をえっと比較し ましてえ超えなかった場合はですねこの パスリストま弾かれた回答を保存しておく 場所にえっと回答が移されてですねえっと 全部保存されるといった形になってい ます 逆にえっと核進度がえ式値を超えた場合

または読み切りモデルはえっと核進度の値 を設けていないのでそのままここのえ既に 回答済みかのえっとチャートに入るんです がえ回答済みでなければ普通に回答を出力 しますで回答済みだった場合は今さっきも 述べたようにえパスリストの中で最もスワ の高い答えを代わりに出力するといった形 になってい ますまなのでこっちの例で言うとま鏡フが 代わりに回答として出力されるといった形 になってい ますはいでここからはえ設定についてなん ですけれどもえ早押しモデルはえっと リンナ社のジャパニーズGPTの1 ビリオンモデルをえ早押し用にファイン チューニングしたものになっていて ファインチニングがフルパラメーターで 行っています読み切りモデルとしては えっと投稿台のえっとスワロのえ7b モデルをえ完全分用にファイン チューニングしたものをえ使用しています でこれはえっとそのままだとえっと要件を 満たさないえサイズなのでえ4ビッで量子 化してえ9ロラによる学習を用いてえっと ファインチューニングを行っていますでえ このファインチューニングのえ フォーマットなんですけれども両モデルと も同じフォーマットですえっと問題文 プラススラッシュで答えはでかこの左側 までを入力するとえアウトプットとしてえ 括弧の中にえっと答えが出力されるといっ たことを期待していましてこの括弧の中の 部分をえ正規表現で抜き出してくるといっ たえ形でえ回答をえフォーマットを決めて ですねえっとファインチューニングを 行なってい ますで効果的だった工夫に関しては えっと連続で回答されなかった文字数に 応じて式位置を下げていくというえルール が1つありましてえ最初の式値を高めに 設定したま今回は0.85で設定したん ですけどもした上で1文字あたり0.01 ずつ下げていくということでえっと初めの 分があまりも短すぎる時にえっとバグって 確進度が0.9とか出ちゃったりすると えっと検討違の回とが出てしまうのでそれ をま弾けたかなといった形になってますで かつ敷位置を下げていくことでえっと2回 え式位置を上回るタイミングをえかなり 作ることができてえっと3回答するって いう目的がえ達成てきたかなと思ってます でこの工夫でま10ポイントほど上昇し ましたであとは回答数が2回未満かつ疑問 し何誰どこを認識した時に読み切りモデル で強制回答させるっていう仕組みも追加し

たんですけれどもまこの場合はあの早押し モデルがえ2回回答してくれなかった場合 に大体の問題には疑問子が存在するので えっとかなり読み切られた読み切られる 寸前でえっと回答ポイントをもう1回 作れることになるのでえこれも3回回答金 を使い切るというところでえうまく起用し てくれたかなという形になってますえで 地味には一応早押しなので1問あたり 0.02ポイントとかぐらいのポジション スコアも獲得てきたのでま何トータルで 10ポイントほど上昇したといった感じに なって ますでここが余談なんですけれどもえっと スペック要件なしとか理論値とかの話をし たいと思いますええっとえっとA180 GBでえっと他の強いモデルとかを使って みた時に開発デタでどれぐらい点数が取れ たのかっていうところをお話ししたいん ですけれどもえっと13ビリオンモデルを 使ってみたところえっとトータルで463 ポイントほとなりましてまアキュレシ スコアで言うとえっとほぼ8割近いえ点数 が取れているのでそこそこ正当率もいいの かなと思えっという結果になりましたで仮 に何回でも回答オッケでえっとま常に最適 な位置でその回答が出せるようにな設定し てみるとまポジションスコアが大きく伸び たんですけれどもえっとトータルとしては 500点ちょいになっていてまその1位の リーダボー上の1位のシステムには遠く 及ばない結果となりましたま70ビオ モデルを使用できればあいわといった ところかなと思ってい ますえ感想としてはですね自分の研究が 生かして楽しかったっていうのとえっとま 早押しクイズ今回1ビリオンモデルでやっ たんですけれどもえ7ビリオンクラスの llmで作成したかったなっていうところ がちょっとえっとやりやり残したことかな と思っていますあのパラメーターが多く なってくるとなんか早押し用の学習が うまくいかなかったのでまあの力不足なん ですがあの後の研究に生かしていきたいと 思っていますであとはV116gがえっと 1つっていうのはLMを載せるには結構 要件がシビアだったのでえっとまあそう ですねスペック要件なしの時の この強いllmを用いた時のえっと性能の 伸びに期待ができるかなといったえ形です はい以上で発表終わりますありがとう ございまし た はいえっとですね早押しモデルのこの ジャパニーズGPTHBを採用した理由に

関してはえっと自身自分自身が過去の研究 であのすでに1回ファインチューニングを したことがあってそれをそのまま流用した という形になってていますあの後にその7 ビリオンとかのモデルでファイン チューニングができたら変えようと思って たんですけど今回はできなかったのでその まま使ったという形になってますで 読み切りモデルとしましてはえっとこれも いろんなその同じ7ビリオンのモデルを 比較したんですけれどもえっとこの スワローが1番成績が良かったのでまそれ を使ったというた形になって ますはいありがとうござい ますコメントが来てない来てないはい質問 のある方はいどうぞお願いし大丈夫です はい嫌えますマイク あ大丈夫だと思はいえっと今回のQAで コンテキストみたいなで使われましたか なんかリトリーバー使ってなんかこ要は 外部のソースカ取ってきたのかこれはその まま使ったのかっていうどちらになります かえっとそうですね言語モデルはほぼ えっとコンテスは使っていないのでこの 本当に事前学習のその世界知識だけで回答 行わせたっていう形になってますよいしょ あありがとうございますありがとうござい ます回に質問のある方見えます か見えないスライドでも来てないはい じゃあ私の方から1点なだけ質問させて くださいあのもしそのエラー分析をされて いたら教えて欲しいんですけどあのどう いったケースで誤ってしまうみたいなそう いった傾向がもし発見されていれば教えて いただけますかえっとそうですね えっと早押しの部分で間違えている パターンとしてはまやはりえっとLL単純 なllmをそ使っているだけなので えっとデスが問題の前半部分の終わり際に 核心度が急に跳ね上がってまそのま見事に 引っかかってくれるっていったあの挙動 挙動を見せていることはありましたね なんかちょ時々 えっとデスが問題にも対応してるような 挙動を見せていてあのそれがちょっと 面白いなって思ったんですよねその オーストラリアの首都 はって言った時にオーストラリアの主まで 行くとキャンベラて出るんですけど オーストラリアの首とはまで行くと逆に なんかウィンが出てきたりしたっていう パターンもあったの でそうですねLM のなんかなんて言うんですかねこれはでき てこれができないっていうところの式が

ちょっとまた分かんなくなってしまっ たって いうなるほどありがとうございますはい ありがとうございます30秒じゃあそれで はあのお時間になりましたので次の発表に 移りたいと思いますご発表ありがとう ございましたありがとうございまし たはい次 は ICスタブの金本ですえっと今回のチーム なんですけどえっと私金本とえっと坂本 さんのえっと2人のチームになります よろしくお願いしますえっと初めにあの 私たちのあの会社と組織の紹介をさせて くださいえっとまずえっと我々の会社なん ですけどベルシステム24という会社で えっとコンタクトセンターの アウトソーシングあのま他の企業さんの えっと電話を代わりに受けるっていう仕事 をしてますなので何かあの手続きをした時 に電話をした時にまその組織に変わって 電話を受けて手続きをするとかそういった ことをしてますなのでえっと日々自然言語 で業務を遂行してま自然言語の実践的な えっと課題が生まれる会社だと思ってます でえっとその中のICSラボという組なん ですがえちなみにこれイノベーション andコミュニケーションサイエンス 研究所というちょっと長い名前がついてる んですけどえと2018年頃からソニー CSLコンピューターサイエンス研究所書 とのえっと共同研究を始めてえっとFAQ の検索エンジンなどを作ってますでまベル システムってやっぱり現場の運用がえっと すごい強い会社なのでそういったノウハウ と技術ですね機械学習とか視線言語処理を リズムに適用して世代のコンタクト センターを作っていこうという活動をして ますえっとシステムの概要なんですけど ちょっと複雑なんであの飛ばし気味なん ですがあのただ先ほどのシステムと結構 近いところがあるなと思ったのでそこは すごい面白いなと思ってますえっとまず 質問が入力されてえっと1番最初にやるの があのこれ全て回答してるととても計算 時間間に合わないのでえっと文字数を見て とかあと最後にはてなとまさにあの完全な 質問だと思ってえっと質問に答えとかそう いったことをやってますでえっと使ってる 情報源なんですがえっと基本的にはこれ 前回あの我々前回戻てるんですけど Wikipediaとえっとクイズの過去 問を使ってますでえっとこれに対して えっと今回3種類の検索インデックスを 作ってえっと検索をしてますでまそれぞれ

ちょっとずつ性質が違うっていうのは ポイントでえっとこれを混ぜ合わせるって いうことしてますでえっと混ぜ合わせる上 でえっと今回はあのrrfっていう手法が あるんですがこれすごくシンプルでえっと 順位デスコア付けしてマジするってこやっ てますでえっと特定文字数の時って書いて あるんですけどこれあの質問の途中の時 クイズの途中の時にえ早押し用のモデルで 回答しでえっと最後にはてながあるとこも 本当に同じだなと思ったんですけど最後に はてながあるとあのよりあの正置な計算 ですねえっとリダカーってのを使って えっとより情報がありそうなものを 探し出してえその情報もを使って最終回答 を出すことやってます最終的なそれぞれの モデルはトップ5の候補を出してえっと式 位置でここも同じなんですけど式位置で えっとボタン押すかどうかっていうのを 決めてますなのでえっと全体的な流れとし てはえっと情報限から3種のインデックス で検索をしてえそれを統合して回答生成し て最後答えを出すということやってます えっとちょっとそれぞれあんまり細かく 話せないので3つえっと3つのポイントに ついてお話ししますえっとまず1つ目は あの最終的にえっと回答生成するモデルな んですけどえっとフュージョンデコーダー というものを使ってますこれもあの前回 使ってるモデルなんですがすごくざっくり 言うとえと質問とあのWikipedia とかから検索してきた情報源えっとこれを 50組選定してるんですけどそれを入力に えっと回答となるモレスを生成するえっと モデルですちなみにT5っていうモデルが ベースになってますでえっともうこれも 本当にさっきと同じだなと思ったんです けど早押し用のモデルとと最終回答用の モデルを作ってますえっと早押しモデルは ま質問の答えでも回答を生成できるモデル ということでえっと学習する時にえっと ランダムに質問を削りながら正当を返す ような学習をしてますでえっとまポイント としてはその学習時に与えるその情報源 コンテキストを検索する時もえっと途中の 結果を使ってますで最終回答モデルは えっとま質問が点完全に与えられてる前提 で回答返すモデルでえっとま前回の実績で これだけでま90%の生徒ができるのが 分かってるのではてなが終わってれば集団 と見なしてこのモデルを使ってますえっと 雑な工夫なですがまこれも本当にさっきと 同じだなと思ったんですけどまルール上3 回までごとしてもペナルティないという ことなのでえっと回答4回以上出さない

ようにしてますでまこれも本当先と同じな んですけどできるだけ違う回答出した方が 有利なのでええっと違った候補からえっと トプ最後を選んでますでえっと2つ目が あのま最終的にはこれv100で動かさ なきゃいけないっていう制約があってv 100って何かっていうとちょっと昔の GP計算機なんですねでなかなかま計算 間に合わないということでえっとここに書 れてる文字数の時だけえ計算をするように してます全部で10箇所とえっと最後の はてなの11箇所ですで最後が最適化でま この計算速度上げるほどこの回答できる チャンスを増やせるんですねなのでまより 早く早押しが押せるんですけどえっとここ を頑張ってえっと最終的に早押しでの計算 に12秒最終回とこ入れ段カーの分も含め て20秒ぐらいで1万あたり大体140秒 で回答するようなシステムになってます えっとスコアリングについてですこれ何か というとえっとボタンを押すタイミングを どう決めるかですえっとこれ本当色々試し てあの会員的な計算でその回答可能性を 推定できるとまよりボタンを押せる回数が をのボタンを押す計算をできる回数が 増やせるんですけどこれが難しかったので 最終的なこのフュージインデコーダーって いうもう答えまで出したその時の出力で 算出できるスコアを使ってますでこれも 本当さっきと同じですけどスコーチを徐々 にえっとげ上げるっていうのはまよりあの 最初は自信がなくてもボタ押すっていう 工夫をししてますでえっとこれがスコアの えっと繊維の図なんですけどえっとこの図 の見方はえっと横にクイズが1問ずつです でえっと上にその時にえっと回答の候補 ですねトワの回答候補でこれどうやって 見るかというと江戸Eまでで花より団子で 答えるとでえっと下がえっとそのスコアの 地震の値でえっとウニほど高いですでこれ 全部計算本当はできたんですができないの でこのオレンジの点のところだけ計算して ますで見てみるとえっとまガルタで花の ところでこうあの地震の度合が上がってる んですねで最初のえラインを超えてるので ここで答えれるんですけどま実際ここの 計算できないのでこのオレンジの手のDで 団子と答えるとまただこれデスが問題で あのさっきの話で間違いなんですね団子は でこうと言えばでこれすごい面白いんです けどこうダを見た時に間違いだと気づくん ですよでえっとスコアが自信なしに触れて えっと別の回答として世より証拠を出すん ですけどこれもこの間はしばらく自信が なくてロンの1文字を見た時にも証拠ので

もう自信を高いスコアで出すとただここも ちょっと計算できないのでまこれ実際回答 できるのはこのオレンジのポイントになる というような感じですでえっとちょっと他 の2例を上げていきましたえっと上は正当 できなかったものでえっとこれ正当ジャン ピングっていう答えのえっとクイズですで えっとこれはちょっと色々見たんですけど ま情報限にこの情報がなかったんだと思っ てますま収支このスコアが低いのが分かる かなと思いますでえっと下の図はま早い 段階で回答できたまはずと書いてるのは あのオレンジのポイントまでもあった感な んですけどえっともですえっとこの質問 このクイズだとえっと統合括弧イコールの 段階でえっとロバートレコードドっていう のがま正解なんですけどこれを出せててま ただここではちょっとボタン押せなくって この2つマったここで実際の計算をして えっとロバートレコードを生って出せる ような例ですちなみにあのま間違いも出し ててこのウルズは間違いなんですですけど このロバートレコードさんの出身地がそう ですはいでえっとスコアの推移ですえっと 我々あの5回システムサブミッシブ のみで回答してます具体的なはこう 102030はてなだけで回答したもの ですでえっと1回目と2回目の違いは えっとデータを増やして再学習をしたりだ とかえっとE5っていうま検索 インデックスを追加したり検索の仕組みを えっと改善したものですで3回目から えっと早押しを入れてますであとこう最後 ちょっと粘ってちょこちょこっとあげたの はあの計算時間をできるだけえっと早く 計算をしてえっと計算できる箇所を増やし たというところになりますはいえっと最後 に終わりなんですけどまちょっと今日午後 あのエビシマッチがあるとは伺ってるん ですがまちょっとやってみてやっぱり まだまだ人気に及ばないのかなどうかなと いうは思ってますで今回ちょっとAIより のルールであの3問間違もいいルールだっ たんですねでま実際のクイズってごとする とレ点だったりあとペナルティがあったり すると思うんですけどそういったルールだ とどうかなとかあと今回やっぱり計算時間 がすごく大変であの1文字計算するのに 12秒かかるですねこうまだまだリアル タイムは難しいかなと思うんですけどこれ 実際お金かければできるのかどうかわかん ないですけどまここはまだ人間人間すごい なと思うところですねで2つ目がえっと チットGPTを含むllmでどこまで 行けるかでま我々もあの先ほどの発表の

ようなそのいわゆる公開されてるローカル llmのファインチューニング学習も試し たんですけどまなかなかうまくいかなかっ たですでえっとまAPI系で公開されてる モデルでも多分今質問全部与えられても9 割り解答できるかどうかだと思うのでここ でどこまで行けるかっていうのはま本当に これからの注目のポイントかなと思います で最後ちょっとポジショントもあるんです けど引き続き実務への適用というところか なと思ってますあの早押しってまあ情報が 欠落してるような質問でやっぱり コンタクトセンターにかかってくる質問 ってなかなか完全な質問ってないんですね まそういった意味ではより実問題に実課題 に近いかなと思ってますでま経験法の オペレーターの方々って過去に聞かれたえ 経験から足らない情報を補うのがすごく 上手ででま今回もそのクイズの過去問を 使ったっていうのはやっぱり早押しに すごく気をしたと思うのでまそういった とこはすごく近いところがあるのかなと 思ってますでまクイズっていうとやっぱり どちらかと言うと一言で回答できる問題な んですけどえま実際の業務って一言で なかなか回答できないのでそういった ところはえっとllmにいきたいかなと 思ってますはいえっとパポとしては以上 [拍手] ですありがとうございましたそれではあの ここからは質疑応答に移りたいと思います 質問がある方は現地の方挙手はいじゃあお 願いします記憶士はあの市川ですあの 素晴しい発表ありがとうございました2点 質問がありまして字数の選択68いうあの 不思議な数字が並んでいたんですけども これどのように選択されたかていう アプローチはああはいえっとですねあの 開発問題を見て何文字目で答えれま最初に 答えれるかっていうそのグラフを書いて こう立ち上がりが大きいところをできる だけ密にするみたいなことをしてますで あのなんでまできるだけその早んでしょ こうなんでそま面積最大というか 立ち上がりところは密にするとこう もちろん答えやすいので答えるでやっぱり こう30文字目ぐらいになるとまあ大体 答え切ってたり答えなかったりするのでま そこはちょっと広めにとるような感じです ねわかりましたじゃあ実際に溶かせた結果 の分布を見てその場所をまちょっと統計的 に考えて出したと逆にクイズ的にもあの 興味深い内容なことを分かりましたえっと もう1つなんですけどもえっとこれあの おそらくあのメディアとかの方は実際に

あのクイズ王とリアルタイムで対ま今日は 違いますけど対戦させるっていうところを 期待する人結構多くなると思うんですけど もその上での課題先ほどもちょっと おしゃられてましたけどその辺お願い できるはい計算時間でえっとこれまさっき もちょっとお話したんですけど今使える 計算資源のその制約はもちろんあってで そこをすごく最新のもの使えばどこまで いけるかっていうのはちょっとやってみ たいところだとは思いますでそれでも1秒 行くかどうかかなと思うんですけど今12 秒なんでもうこれ多分10倍ぐらいもっと 早くしないと言われためでは答えないと 思うのでえっとそこはままだまだかなとは 思いますねだからまそれに最適化するまた 文字数の選択とかそういったことが必要に なま文字数の選択というよは本当に計算の 高速化だと思いますでやっぱり理想的には これ全文字でやりたいんですよはいそう ですねはいでそれはあの多分頑張ればそ あともう少し早いGPUが出てくれば できるんじゃないかなという気はします ありがとうございまし た質問があるか手の方お願いしますあと1 件くらい受け付けることできますはいあ はいえっと実行員の続けましですえと話 発表ありがとございました質問というか コメントなんですけ感想なんですけれども 今回えっと最終評価の問題300本あり ましてえっと制限時間12時間という設定 だったんですけども300も解くのに えっと評価回した11時間55 分これ何がき思ったんですけど回本当に そのギリギリ合うより合わせていたという ことなんだなと思ってちょっとびっくりし ましたあ合わせましたはいありがとう ござい ますはい時間となりましたので以上とさせ ていただきますありがとうございまし たはいそれでは本セッションを終了したい と思います えっと1010時半から大丈夫です か13分休憩3で10時半から次の問題 作成部門の発表報告セッションを始めたい と思いますお疲れ様でしたありがとう ございまし [拍手] た ムは 3 はいえそれでは時間になりましたのでえ 参加システム発表にえ問題作成部門の セッション始めたいと思いますえ司会を 務めますNTTの長川ですよろしくお願い

しますえ問題作成部門ではえごチームの 代表者の方にご発表いただきますえ時間を 発表10分質疑5分を目安とさせて いただきますまして先ほどと同様8分10 分13分の時点でベルがなるようになって おりますそれでは1件目のご発表に移り ます1件目のご発表はえチーム名コバト 787B稲田大学の小林さんです小林さん は大学の事業の関係で本日はえこの場では 出席できないため事前に録画した動画での 発表となりますそれではえ動画の方 よろしくお願いし ますではえ松田大学大学院小林俊介より第 4回AI王の問題作成部門において制作し たシステムのアプローチを発表させて いただき ます発表の目次はご覧の通りとなっており ますまずシステム紹介になります今回構築 したシステムは3部分によって構成されて います毎1人の部分では Wikipediaの記事を参照し回答と なる単語と問題生成で用いる関連文書の 中止を行っています問題生成部分では テキスト生成モデルにによって問題の生成 を行っています後処理の部分では生成され た問題の中から最も良いものを中止し問題 と回答の手を行ってい ますえそれでは前処理の部分から具体的に 説明をしていきますまず WikipediaのAPIを用いまして テーマと同じタイトルの記事を検索中止を 行いましたえその後記事の文章を一定の長 さに分割するとともに携帯書解析を行い まして整形した文章と回答になり得る単語 を中止しましたその後回答の候補である 単語が整形済みの文章にどれだけ存在する かをカウントしまず最も多く見つかった 単語を回答として選定しましたえそして 文書の中からこの単語を含むものを関連 文書の候補として抽出を行いこれらの中 から問題生成に用いる文書を選択してい ますここではモデルが問題を生成しやすい 文章を抽出するということを目標にしまし て文章の長さやアルファベットの文字数を カウントこれと共にGPT2を用いまして パレキと呼ばれる文章の流調査を測定する 標を計算してい ます最終的にはこれらの和さを取ることに よって文章ごとにスコアを算出ランク付け を行いましてえこの単語を含む記事中の 文章3つを関連文書として回答の単語と 文章3つで問題生成に用いるという形を 取ってい ます続きまして問題の部分について説明し ますえここではテキスト生成モデルの一で

あるT5をベースとしたえ質問応答モデル の必死であるフュージインレコーダーを 問題生成のモデルのベスとして利用してい ますえ最大の特徴として複数の文章を考慮 しながら図のように回答を生成できると いうことがあげられます質問と関連文章を それぞれをペアにして入力をして最終的に 回答を生成できるというところがポイント になります また同じ入力から複数の手力を得るという こともT5の設定によって可能になります え今回のアプローチではllmを一切使用 せずこちらのフュージョンインレコーダー によって問題を生成してもらいまし たえこのフュージョンインレコーダーを 質問生成に使用する際は入力における質問 と回答の役割を逆転させるということを 行いましたえすなわち入力は想定回答と この想定回答の単語を含んだ分 そして出力が質問という形になりますえ 複数の文章から質問を生成することで 異なる文章部分のどかを用するすなわち 複数の視点を含んだ質問になるということ が期待されます今回は1つの入力に対して T5側ではBMサーチによって7つの問題 が生成されるようにしていますえ問題と 回答のペアはUスコアにより評価を行い ますえこれは問題と回答がえ関連文から 導きやすいかどうかをスコア化したという 指標になってい ますえ最後に後処理の部分です後処理部分 では先ほどのQAスコアに加えまして質問 そのもののパプエキシティについても計算 を行いますでこれらのスコアに加えまして 評価基準の1つである問題が80文字以下 であるかという点も踏まえまして生成され た質問7つのスコアリングランク付けを 行います最終的に最もスコアの良かった 問題と回答のペアを最終的な出力として 提示をしてい ます続きまして問題生成モデルの学習方法 について説明をさせていただきますえ モデルは通常の教師やり学習により学習を しているのですがえ単純な学習では教師 データを完全に無法しようとしてしまいえ 教師データの表現をなるを真似しようとし てしまってその表現の多様性が失れると いう懸念がありますそこで今回はバート スコアによるルジ計算を行ってで損失に 係数をつつけることで学習時の損失を制御 するという手法を取りましたバートスコア は文章全体の意味を考慮して2た意味の 文章ペアに高いルズのスコアをつける指標 になっていましてこれにより高い類自の際 に学習を弱めてあげることで多様な質問の

生成につなげることが可能になりますえ 具体的な学習時の損失Lは係数も含みまし てえこの数式のように計算を行いますえB ターゲットがバートスコアの式位置バート スコアの部分が実際のバートスコアの計算 となっていまして今回Bターゲットには 0.9を設定をしてい ますえここからはモデルを用いた実験及び 生成された結果について説明をしていき ますまずは問題生成モデルの学習になり ますえフュージョンデコーダーに用いるT 5といたしまして今回はレトリ車が提供さ れていますT5ラージロングを用いてい ます え学習用データはえAIの方から提供され ています学習用のデータから質問生成とし て利用できるおよそ1万1000件分を 用いて学習を行っていますえ学習は60万 ステップを行いましてえAIのテスト データですねこちらの方を用いまして検証 の方を行ってい ますえまずこちらが1つ目の生生例になり ますえ下線部は文章に関連内容が存在する 部分赤字は内容と矛盾している部分緑の字 はえ審議が不明となっている部分となって いますえこの問題はえ河川部が引いてある 通り文章文書の中に関連内容が非常によく 存在しるものになっていましてえ矛盾の方 もわずかには存在するものの少ない状態と なっており質問としては概ね両行に成立を しているのではないかという風に考えてい ます一方でこちらは2つ目の生成例になる のですがえ関連文書からえ取り出せた内容 というものが最初の部分しか脳の中に存在 しないという点またえ問題全体としてえ 矛盾が生じているというような点が問題と してあげられこの生成された問題はあまり うまい生成とならなかったという風に考え られ ますえっと続きましてシステム全体の構築 になりますえここではえ先ほどの実見で 構築しましたフュージョンインデコーダー に加えまして前処理と後処理の部分を構築 しましてえ本線に近いような内容での入出 力を目指しましたえここではえ本線用の システムを用いましてえ予選のデータを 入力した際の生成例について平成結果の方 を説明していきたいと思い ますまずはこちらの例になりますえこちら の例もえ最初の例と同様にえ関連 内容がえ文書の中からよく張できていると いう点えまた矛盾も存在自体はしているの ですが非常に少ないというこの2点2点に おいてはえうまく生成がいったのではない かなという風に考えられる例となってい

ますまた問題と回答のの対応というものも 概ね取れているのではないかという風に 考えられ ます一方でこちらの生成例ではえ1番最初 の問題の部分がえ内容は関連文書の中に 存在こそするのですがえ残念ながら矛盾を してしまっているという例になっています またえこの例ではえ文章を3つ入力をして いるのですが重って思って内容を中止でき ているのは最後の文書だけという点にも なっておりユンレコーダーの効果効果を あまり十分には発揮しきれなかった例に なっているかなという風にも考えてい ます最後にえコンペティションに参加した 感想になりますえ今回私が構築した システムはllmを使用はしませんでした がえ最的な結果を見ているとやはりllm を用いる以上にハルシネーションの問題が え大なりそなり生じてしまってかなという 風に考えられますえまた食いらしい問題の 主力という部分についても今回苦戦した 部分になりました特に雑学的知識を入れる という部分の再現性がうまく取れずここは 非常にシステムを構築さする際も苦戦した 部分になりますえその一方でllmでなく ともできる部分があるということも分かり ました例えば質問の形式を作るこれこれれ は何でしょうこれこれれは誰でしょうと いうようなものであったり文章の内容を 意識して問題を生成するというところは 可能でありえまたハルシネーションが非常 に少なくなっているようなものについては え非常にえほぼほぼ人手を入れずにその まま流用できるような問題の生成ももう 確認できたというところで必ずしもllm を使わなくても問題の生成というところは ある程度はできるのかなという風に感じ 感じた今回のシステムシステム構築になり まし た参考文献はご覧の通りとなっており ます以上で私の発表は終了とさせて いただき ますはいえありがとうございましたえ1件 目は動画のため質疑話とさせていただき ますえそれでは2件目のご発表に移ります え2回目のご発表はえチーム名中魔人記憶 株式会社の中さんですそれではえご準備え できましたらご発表をよろしくお願い いたし ます ちょちょ ちょちょこれ大丈夫ですか はいえっとそれではえっと4位の中魔人と いう名あのIDかでえっと紹介させて いただきますえっとま自己紹介なんです

けどあの私あの弊社記憶シアの社員になっ てますで弊社クイズAIプロジェクトやら せていただいてるんですけどそれとは別の プロジェクトでこういうあとカグルって いうま世界最大のAIコミュニティのAI コンペとかを開催してるところでま サークルとかを作って活動してくるって いう部門からのえっと今回は参加になり ます一応カグルの方ではえっとま コンペティションとあとノートブックって いうジャンルでま2つグランドマスターっ ていうえっとま称号を持ってましてま過去 NLPのコンペでは一応3回金メダル取っ てま約トップ10ですねっていうのを えっと3回取っててますでえっと今回です ね生成系とかえっとあと日本語のNB系の コンペはちょっと初めてであのちょっと 色々興味があったのであのやってみまし たっていう話ですはいちょっとこれ全体像 なんですけどまちょっとすごいビジーなん でちょっと簡単に言うとま基本的には クイズのテーマに対してま日本語の Wikipediaとまクイズ王の過去問 のラグを抽出してまチトGPTに入れただ けっていうシンプルな解放だと思います ちょっとえっと詳しく説明していきます 最初にちょっとツになるところのま主に ラグの抽出が肝になってると思うんです けどまそこのWikipedia編とあと はえっとクイズOの過去問編あとチャット GPTのAPIにどういう入力したかって いうのとまちょっとこれ時間切れででき なかったんですけどセカンドステージって いうのもやろうと思ってましたあと反省と 感想という流れでちょっと発表させて いただきます最初ちょっとえっとラグの 抽出のところですまラグあのよく出てくる と思うんですけどま基本的にはチットGP とかのllmのまプロンプと質問入力の時 にま単に聞きたいこと入れるんじゃなくて ま関連情報も入れてあげるとま制度が 上がるちょっと私も論文とか読んでるわけ じゃないんで違ったらコメント欲しいん ですけどま例えば今回の例だとま世界保険 機構に関するクイズを作成してくださいっ てチャットGPTに入れるよりもま世界 保険機構に関するクイズを作成して ください関連情報はまこれこれれこういう ものですみたいな言い方をした方がま回答 の制度が上がるってことがま知られてます とでこれを抽出してプロポに多分入れる ことをまラグと呼んでるんだと思ってます でえじゃどうやってこの関連情報を抽出し ていくかっていうところなんですけどま 色々多分やる方があるんですけど今回私は

まセンテンストランスフォーマーっていう ま文章と文章の自動を反映したまエン ベッティングを作戦するようにえっと学習 されたモデルを使いました具体的にはま 世界保険機構っていうワードがあったら このセンテンストランスフォーマーを通す とま124個のあの数字の並びまエン ベッティングとかま1024次元の ベクトルみたいなものを抽出しますとで Wikipediaの文章はまあ75 750万個ぐらい文章あるんですけどま それも全部センテンストランスフォーマー でえっとあらかじめ作成しておいてでそれ に対してあの1時間の中で全部類児動計算 と付き合わせをして最も累次度が高くなる 3個っていうのを抽出しましたでその結果 がこんな感じになってましてま例えば文書 1だと世界保険機関はなんちゃらなん ちゃらですっていうのとませ文章にはそれ に関連する次のルジ度が高い文章が並んで てま文章3は3個目のルズが高い文章って いうのが並んでるっていう形ですねこれを えっと最終的にプロンプトに突っ込むん ですけどまちょっとま全体像でさっきの やつをまとめるとま日本語ウィキペディア から文章抽出してまセンテンス トランスフォームでエンベッティング抽出 しますっていうのとまクイズのテーマから センテンストラスフォーマでエン ベッティング抽出してまこれ付き合わせし てルジ計算してま今のラグを抽出してま 後々このプロンプトに突っ込むていうよう な流れ ですでえっともう1つクイズ王の過去問に 対しても同じようなことやってあの抜き ましたっていうのがこ話でま基本的には今 の話と同じですクイズ王の過去問から文章 中出してあのエンベッティング付き合わせ で累1度計算してますで例えばのれなん ですけどこれは世界保険機構に関しては えっと過去のクイズ王のえっと過去問です ねはえっと国際労働機関王と世界保険機関 WHOの本部があるスイスの年はどこ でしょうジュネブってこれは結構いいもの が抜けたなと思ってますでただこの方法の デメリットはま自治問題に多分対応してな いっていうのがあって例えば今回ポケモン スリープっていうすごい流行りのものに 対しては過去のクイズの問題ってやっぱ なかったんですよね抜けたのがこういう 高速眼球運動という言葉の頭文字を取っ てる一般に人が夢を見る時の睡眠状態を何 と言うでしょうレム睡眠ってま確かに睡眠 に関しては言ってんだけどポケモン スリップに関しては言ってなかったんです

よねでこういうのに対しては類自動を見て あげるとやっぱりちょっとこれに比べると すごい低かったのでまそこでルジに敷位置 をかけてこういうやつはプロンプトに追加 しないっていうちょっとフィルターを1枚 入れるっていうことをえっと工夫はしまし たでそうやってえっとできたやつがさっき の全体像のここでまえっと日本語 Wikipediaとえっと過去問から ラグ抽出してここのプロンプトに突っ込む ていうことをやりましたっていう感じで こっからチャットGPTのAPAの入力な んですけどえっとまここの部分です ねでまチャットGPTのAPI皆さん使っ たことある方はご存知だと思うんですけど ロールの設定とまプロンプトって2つあっ てまそこでチャットGPTのAPI入れて 回答が出てくるって形だと思うんですけど まそれにどういうの入れたかっていう ところをちょっと説明しますで役割設定の ところは基本的には今回の評価基準を自分 は入れましたあなたはクイズサッカーの プロデスとか入れてなんかちょっと流行り の自分の限界を超えてなんちゃらすると 良くなるみたいなちょっとTwitter で流れてたんで入れてみたっていうだけ ですねはいあなたなら絶対できますみたい ななんか入れてましたはいでまあとは クイズのその構成みたいなところをあの トライアエラーでこうやればちょっと うまくいくみたいなところをちょっと入れ たりとかま選択問題しないとかですねそう いうのを入れたりしましたまあとは プロンプトに関しても同じような感じで えっとまさっきの抽出したラグとあと えっとまこういうテーマに関するものに 絶対してくださいねとかあとは分かり やすく具体的な表現してくださいねとか 最後はてなにしてくださいねとかまそう いったえっと言葉を入れて作ってきました で えっとで回答なんですけど一応今回は私は クイズをこれ3セット出力してま最初は ですねこのクイズ3つのうちから1番いい やつを選んでクイズ1にしてっていうのを 作ってたんですけどなんかそんなに良く なんなくってま結局それ入れんのやめ ちゃったんですけどで結局今回はクイズ1 のみを自動選択して サブミッシブファイル中間出力して最後に まとめたんですけど途中であの文字化けの 件があってまシフトジフでちょっと保存 できなくてやり直ししてたらすごい時間 なくなっちゃってで結局時間なくてあのま 予選ではあ時間なくてこのクイズ1を提出

したんですけどなんか予選では出なかった アトショリーヌがなんか変なあのクイズ1 のこの鍵かこがのなんかこれが問題によっ て違う形で出力されちゃってシャットGP てからそれで後処理がちょっと間違ってた みたいなのがあってま回答が世界保険機構 があの設立されたのは何年ですすかって いうのが本当は1950年なんですけど 11950年っていう位置が残ってしまっ たまま提出してしまったっていうのが ちょっと悔いが残ったところですで本当は この後実はセカンドステージっていうのを 考えていて あの今の3個作った問題からえっとさらに これをですねもう1回プロンプトに 付け加えてもう1回えっとクイズ作成 しようとしたんですよねこのクイズを参考 にしてあのもっといいの作ってください みたいな感じでちょっとそこは準備してた んですけどま時間切れでできなかったです で後々ちょっと色々試したんですけどうん ちょっと事前に準備してた感じだとこれで 良くなってた気がしてたんですけど実は プロンプトの生成分にバグがあってうん 本当に良かったかどうかってのは正直 ちょっとここは検証できなかった ですでちょっと反省と感想ですねえっと 反省はまちょっと私ギリギリ1時間って 言われたので1時間の戦略用意してたんで ちょっと文字化けで中間ファイル保存でき ずに終わってしまったのとまあとしにも ちょっと時間切りで気づかなかったところ はちょっと悔いが残りましたっていういう ところですねであとま生成Iのコンペ 初めてだったんですけどやっぱりプロンプ と作る換水バグがあってもあのこれバグで 止まらないんでちょっと正直気づかなかっ たっていうのが私の反省点ですねここは 注意しなきゃいけないなと思いましたで あとはプロンプと色々工夫してたんです けど1周回ってなんかシンプルなものにし た方が良かった気がするっていうところが ちょっとあってまそれもなんでかなんで こんなのが分かんなかったのかって言うと ま出力したクイズを結局評価できる仕組み がま作れたら良かったんですけどそこまで ちょっとできませんでした後々はなんか うん作ったクイズに点数つけてくださいと か質問に入れてそれで順番つけてもなんか 良かったのかなとか色々思ったんですけど あのちょっとそこまではできませんでした ただま感想としてこういうラグ使うのは ちょっと初めてでやっぱり一発でこう Wikipediaから関連情報抜けたの はすごい気持ちよかったのとまそれなりの

クイズ作れてやっぱり僕はど素なんで クイズに関しては面白かったしとても勉強 になりましたとことであの企画と運営 ありがとうございましたはい以上 です はいえありがとうございましたえそれでは 質疑に移りたいと思いますえ質問がある方 はえお願いしますYouTubeでご参加 されてる方はえスライドの方で質問をお 願いし ますあではちょっと私の方から質問さいて もいですかねあの敷位置をあの関係ない ところを敷位置使うみたいな話があったと 思うんですけどその敷位置ってどうやって 決められたのかっていうのとあとwiik の方にも敷位は入れてるのかそれともあの [音楽] 過去問分析とか2024年とかそういう ちょっと大雑把なタイトルのやつやぱ ちょっと類似度が低くてあそういうやつは ちょっとフィルターしました はいありがとうござい ます カあこんにちは願いしますうはなんでう ですねのですあの問題ああのそうする ところをラグで抜くっていうのはま最初 思いついたんですけどそのクイズをという か過去問をあの中出してくるっていう ところに関してやっぱりそこをやると結構 セブ上がりました ああ正直言うとあんま変わっなかったって いう実感なんですけどそれも正直評価する 仕組みがないので分からないっていうま 個人の感触ですね自動でできないっていう ところがやっぱりうんシステム作る上では 難しいそうですね多分数があればあの数と アノデーターがちゃんとやってくれればあ まデータセットがあれば自分で作れると 思うんですけどそこは用意できなかった ですねわかりましたはいありがとうござい ますにもう1つぐらい質問受けつけますが どうでしょうか あすいませんあえっと上のもですあのこれ は コメえっとええっと解えっとこれは単に コメントなんですけども先ほどの過を使 うっていう意味だとそのテーマそのものの 過去問ではなくてテーマに関連したこう いうあのスタイルの過去問があるっていう そういった手のし方はあるのかなという風 に発表伺っていて感じましたはい ありがとうございます 一応それをプロンプトに入れたって感じ ですはいはいですから多分多分例えば おにぎりではなくて他の食べ物だとこいっ

た問い方がありますよあそういうことです ねそういった問のあのなんだ検索の仕方 ってのはあるかなるほど そうかそうかテーマだけじゃなくて ちょっとテーマの関連したものの関連した ものっていうちょっと2個飛ばしぐらい そうですてことですワステップ なる ありがとうございますはいそれではえっと そそ時間になりますのでえありがとう ございましたありがとうございまし [拍手] たはいえそれでは3件目のえご発表に移り ますえ3件目のご発表はチ名えいぞ明治 大学のバダさんですえそれでは準備の方 できましたら発表お願いし ます では始めさせていただきますえっとえいぞ というチームの田ですよろしくお願いし ますと今回はとインターン先であった2名 でえっとまチームを組みましたでも発表者 のま紹介なんですけどえっと明治大学の 履行学部の情報学科の3年生になりますま 研究室では主にま機械学習など最適化の 研究をしているので結構なんか数学っぽい ことずっとやったりしていますあとはまッ AIっていうまAI自宅の会社の創業 メンバーとしてまやったりしてますね はいでま今回の手法について軽く説明し ますそんなに難しいことは実はしてなくて えっとまlmとラグを利用した問題作成と いうことでまほとんどみんな同じような 感じになるのかなという風に思っています でllmなんですけどまGPT4を利用し ましたでラグなんですけどえっと Wikipediaのまデータセットから ま情報を持ってくれってのとあとは プロンプトの設計方法としてまセルフ リファインていうものがあるらしいという ことでまそれをま使ってみたんですけどま これについては後でもう1度説明し ますえ先ほども説明があったと思うのです がラグについついてもう1度軽く私の方 から説明させていただきますまどのような ものかっていうとまリトリーバル オーギュメントジェネレーションなの でまWikipediaなどの データベースからテーマを検索してその テーマに関する問題をあそのテーマをま プロンプトに入れてそのプロンプトによっ てま文章を生成するという流れになります まこう言われてもちょっとまピンとこない と思うのでま僕もちょっと例を持っていき ましたま例えばサッカーに関する問題を 作りたいという風になった時にまサッカー

に関する情報は以下の通りですいうことで まWikipediaから情報をこのよう な感じで持ってきているという風な感じ ですねまラグをすることによってまGPT とかが学習するしたことのないものに関し て こうま情報を入れれたりするっていうのが まメリットかなという風に思っています あとま事実かどうかで言うとま事実にま すごいよるのではないかという風に考えて おりますでま予選ジに関してはまただただ まラグを入れただけのシステを提出したん ですがま問題文と想定会が正しく対応して いるかっていう項目においてま他のチーム よりものすごい低い点数になっていました 逆に言えばここを上げることによってま ものすごい点数が上がるのではないかと いう風に考えておりまし たま予選時はまテーマに関する早うクイズ をま生成しくてくださいとでえっと リトリーバルリトリーブコンテントの ところでま持ってきた情報を入れるという 形のまシステムを作っていましたで決勝な んですけどえっとま決勝の段階でま テキストダビンチが使えなくなったので GPT4に変えてあとはま評価指標を プロンプトに入れましたこれも多くの人が やってるのではないかなという風に思い ますあとセルフリファインで先ほど書いた のはま言語モデルにま最初に出力を生成し てもらってその出力に対する フィードバックを元にもう1度ま出力を 生成するみたいな感じのことをしましたで プロンプトの改善なんですが1番最初に 問題を作る時にまそもそも評価指標を入れ てあげればいいじゃんということで1番 最初に評価指標を入れており ますで次にその評価指標に基づいて設定し た問題に対してまGPTが評価を行います でそのフィードバックの元に再度ま問題を 出力するということをしていますで評価に 関してなんですけどま例えば食いずらしい 問題って何なんだろうっていう風に考えた 時に結構なんか就職とかをつつけるといい よっていうことが多分 あのあれですねそのこのシグネットのAI の要は論文みたいなのが多分出てたと思う んですけどまそれに結構書いていたのでま 僕も同じような感じでやりました例えば 乃木坂46のデビューシングルのタイトル は何でしょうって言われるよりも日本の 人気アイドルグループっていうま就職を つけた方がまよりクイズっぽい問題になる んじゃないかとデビューシングルだけじゃ なくて2012年にリリースされたみたい

なそういうま就職をつつけることにがま 結構食いずらしさを増すんじゃないかって いう仮説のもこのような形にしましたただ これはなんていうかその問題の評価項目 自体にはないんですけどま今日みたいな 感じで最終的にまなんか面白い問題に点数 が入るということでまそれが30点って いう結構大きい配点なのでまそういうとこ を狙いに言ってるみたいな形のイメージに なり ますでま評価用のプロンプロでまさっき みたいな形でもう1度評価仕様について 聞いたりとかあと何か就職をつつける ところがないかみたいなことをま聞いて いるという風になりますでそのまレビュー を元に最終的な出力をしているとまそれ だけになり ますま決勝を終えてなんですけどま結構 問題を作るのがすごい早かったなと思って いてま本来だったら60分なんでま3分 ぐらい使えるんですね1問作るのになん ですけどこれだった分50秒ぐらいで1回 GPTに効くのに多分20秒ぐらいかかっ てるんであと2回ぐらいまそのGPTと やり取りをできたのかなって今回3回しか 1問作るのにGPTってやり取りをしてい ないのでまあと2回ぐらい結構聞けたなっ ていうのはありますねあと新しい学校の リーダーズとかカル現象みたいな新しい トピックに対応できてなかったんですけど これ皆さん対応できてたんですかねどうな んでしょうなんか僕普通に Wikipediaのデータから持ってき たのでま対応できないはずがないと思って いたんですがちょっと失敗してましたね これはなんかま終った後とか感想 いただけると嬉しいですはいという形でで まコンテストが終わっての感想なんです けどまそうですね複数の問題はあらかじめ 生成しておいてまそっから1つ選ぶって いうまこれでGPT2ターンなんですけど まそういうものをま入れてもよかったのか なと緒に持っていてで絞った問題から さらにレビューをしてもう1回問題生成 するみたいなことをやっても時間的には 全然間に合ったのかなという風に考えてい ますはいまそんな感じです ねはい以上になり ますはいえ発表ありがとうございましたえ それでは質疑に移りたいと思いますえ質問 がある方はお願いしますえYouTube でご参加されてる方はスライドの方でお 願いし ますあ応コメントなんですけど新しい学校 のリーザとこ変るか現象かできましたあ

できました本ですか多分1番新しい ペディアをダウンロードしてたからあ本当 ですか僕もあちょちょっと古かったかも しれないですねもしかしたら一応ちゃんと 出なるほど多分そこで多分30点ぐらい ボンて引かれてたのでちょっと ダウンロードしてき問題がちゃんと生成し てたかどうかカエルかはちょっとねいまい だなと思っラグはちゃんと抜けてました 本当ですかなるほどあじゃあちょっと アップデートしとけばもしかしたらもう ちょっと点数もらえかもしれないです ありがとうござい ます者川ですあの発表ありがとうござい ましたえっと就職をつつけるとあのクイ ズっぽくなるすごいいいつつけるところか なと思ったんですけどもそこはちょっと1 か所理解できなかったんですけどもこれに 関してはえっと後から言語処理で付け加え たというよりはそういう就職がついてるの を点数を高くするていうようなそういう 工夫を抑えたてことちょっとそこ理解あや ただこれはもう普通にプロンプトでもう 与えてるだけですね要1回問題生成した後 にまこの文章に対してま単語に対してで 就職をつつけるとしたらどこになりますか みたいなあのをまレビューとして書いて あげるんですよでそれを元に最終的な出力 をしようみたいな感じのことやってるんで 別になんかスカーとか実とつけてなくて パインチニングとかもしてないのでま結構 ま適当というかそんな感じに1回作ったの をもう1回入力にしてもう1回ト回したあ そうですね3回聞いてるみたいな感じに なりますありがとうございますありがとう ござい ますはいございますでしょうかあす スライブの方で質問来てたので読みますえ セルフデファイによってどんな点が具体的 に改善されたなどの訂正的な評価はあり ますでしょうかとのこと です訂正的っていうのは人間があ感覚的な もので大丈夫だと思いますいいですか なるほどまそうですねえっとまさっきも 言ったようにま就職ができるようになっ たっていうのも1つ大きいですし あと予選の時に結構っていた問題文と想定 会が正しく対応しているかっていう点が 結構大きくてまこれが何を言ってるかって 言うと結局その問題文から答えを1位に 絞り込めるかどうかっていうところだと 思っていてま問題文が例えば複数答えが あって確かに問題と答え一してるように 見えても実は1個に絞りきれないよね みたいな問題を多く作ってしまっていたの

でまそこをま1つに絞り込めるように問題 をちょっと変えることができるみたいなの が1つ大きいのかなという風に思ってます ちょっとそこの具体例はちょっと今ま 思いつきはしないんです けどそうですねそこは結構大きいのかなと な気がし ますに来てる質問としてえっとうまくいか なかった問題としてはどういう問題ができ ましたかという質問も来てますあ新しい 学校のリーダーズと かなんかあちょっとこれは忘れたんです けどなんか新しい学校のリーダーズが なんか学校をよくするにはどうしたらいい そういう問題でしたそのこれちょっと見た 瞬間やってしまったなと思ったんですがま 時間もなかったんで提出しましたはいあと カル化現象もなんかカエルがなんか幼虫 から成虫になることを何と言いますか みたいな問題を作ってしまってましたね なるほど あもう1つ質問来ましたねえっと素朴な 質問なのですがAPIで20問作成するの にかかった料金は分かりますかとそうです ねこれちょっと僕のお金で回してなくて実 はなのでちょっといくら買ったか分から ないんですがどうなんですかねま1問作成 するのに3回回してるのでかける20問で ま60回分なんでまいくらぐらいになるん ですかそこはちょっとあれですねあの公式 のホームページ見ながらになるかもしん ないんです けどそうですねちょっとそこは僕も ちょっとわかんないですすいません はいああは計算してくださいということで はい分かりまし た他にございますでしょう かすあどうぞGPT4のモデル何個かあっ たと思うんですけど0604とか11に なっちゃうとかはいそこなんか試したりし ましたあそうですねま基本的にまGPT4 を使うのが一番いいのかなっていうのと あとGPT4の中にも多分いろんなモデル があると思うんですがまあ1番多分 テキストを入れれるのがいいかなと思って いてラグで持ってくる時にま Wikipediaの情報をできるだけ 多く入れたいっていうモチベーションが あるので計算時間は長くなってしまうん ですがま1番多分そのテキストサイズ みたいな制限があると思うんですがそれが 1番大きいやつを選んでい ますいかがでしょう か大そうですかはいそれではえっと時間と なりましのでえご発表ありがとうござい

ましたありがとうございまし [拍手] たはいえそれでは4件目のご発表に移り ますえ4件目のご発表はチーム名え高弘 武田えパナソニックソリューション テクノロジー株式会社の武田さんですえ 準備ができましたらご発表の方よろしくお 願いし ます はいえそれでは問題作成部門のえ最小報告 と題しましてパナソニックソリューション テクノロジーの武田が発表させていただき ますよろしくお願いいたし ますまず簡単に自己紹介を行いますえ現在 の業務としまして事前言語処理を用いた 研究開発商品開発を行っておりまして弊社 の主力製品の1つであるAIチャットボッ withTalkの言語エンジンの開発を 担当しております続いてま趣味としまして はまガジェット特に自動化することが好き でまおはようで電気テレビだったりあと エアコンがついてまあとカーテンが開いて 行ってきますでおじロボットが走るような 生活をしていますまたあの実は第2回の コンペにも参加していたんですけどもま そちらではちょっと入賞できないっていう ことでちょっと悔しい思いをしましたえ 本日のアジェンダですまずえ取り組み内容 を説明しましてシステムの説明所管と続き ます今回の本編の方針としましてはえ指先 1つで知識を遊びに変える次世代クイズ 生成システムと掲げて始めてきましたえ コンペに取り組むにあたって大きく分けて 5つのタスクに分けましたまずえシステム 全体の処理の流れを検討しまして続けて林 クイズの題材となるコンテンツの活用法の 検討そして今回の金めとなっております プロンプトの作成そえ続けて大規模言語 モデルLの選定最後に実装までをワン サイクルとして実施していきましたえまず 処理フローなんですけども当初はこちらの 図のようなものを考えておりました林 クイズのテーマを入力しますと入力しえ 入力されたテーマに基づいてデータベース から関連性の高いコンテンツ情報を取得し ます取得したコンテンツ情報をプロンプト と共にllmに入力することではしクイズ の問題と答えを生成して結果を返すといっ たシステムになりますえ続いてコンテンツ の活用方法について説明いたしますします コンテンツの活用する手法としまして 大きく3つえ検討いたしました最終的には え3つ目の検索拡張生成であるラグを最初 採用しましたこのラグを手法を用いること で外部データに参照しまし参照できまして

特定の分野だったりナレッジを取得する ことができるようになりますこの1つ目の プロンプトに直接情報を付与する方法はま 極めて単純な楽なんですけどもま与える ことができるテキスト量には限界がある ことだたりあとは大規模言語モデルには 一般的な知識は備わっているんですけども ま例えば最新情報にアップデートできて ないとかいった問題もあございますえ2つ 目のファインチューニングに関しては ちょっと時間的だったリソースのコストの えコストが必要であったため今回除外し ました続いて具体的なコンテンツの収集 方法になるんですけどもえラグとして当初 はエラスティックサーチを使った検索 エンジンを用いる予定だったんですけども まウキペディアライブラリーの使い勝手が 非常に良かったためまこちらに変更いたし ましたこちらはあのAPIが非常に洗礼さ れておりま不要の情不要な情報のないま 本文だったりあのサマリーのみの取得が 可能といったものとまた常に最新の情報を 取得できるっていう点で優れてましたまた 今回コンテンツ取得時のえ前処理や後処理 としましてはジャンル縛りを目的にしまし て特定のカテゴリを含むページの取得だっ たりえ不要な文字情報のカットを行いまし たま例えば注釈だったりリンクなどの情報 になりますまこちらちょっと余談になるん ですけどもまここにいる方々皆さんクイズ 好きな方が多いかと思うんですちょっと 共有しておきたいんですけどもま今回この APIで取得できるこの Wikipediaのカテゴリ名からま何 の記事が え何の記事が当てるといったまクイズが できるんじゃないかと思いましてまこちら 右下の方にまとあるページのカテゴリーを 記載しておりますちょっと実際にやってみ ますとままずえ1986年のアニメ 映画続いてスタジオジブリのアニメ映画ま 早いとはここでもう回答できるんじゃない かなと思いますま続けて環境保護え超古代 文明といった情報が出てきましたえ続いて えっと飛行線白空族といった情報が出てき ましたまご存知天空の白ラピタになります この世よになんかウキペディアのカテゴリ を用いて連想クイズを作っていうことも できるんじゃないかなっていう風にま ちょっと思いましたはい話を戻しまして 続いてえプロンプトの作成ですえ プロンプトの作成手順としましてはGPT を活用しましたこのGPTというのはオ OpenAIが提供しますサービスの1つ となっておりまして本来はオリジナルの

GPTを作成することが目的となっている んですけどもまこのスライドの図に示す 通りえブラウザ上でえ対話形式で プロンプトを作成することができてま動作 もその場で確認するということができ ます続いてプロンプトの工夫した点になり ますまずえ死体テンプレートとしまして4 種類検討しました1つ目はえ共通する言葉 を列挙するといった言語の問題ですえ2つ 目は主に前振りにてま言語の由来を提示し たような由来の問題え3つ目は純粋に知識 を問うようなえ学問系の問題最後4つ目は え引っ掛け問題の定番であるデスガ問題と も呼ばれるパラレル問題ですえ工夫した もう1点としましては出力フォーマットの 安定化です従来の方法ではま定品度ながら ちょっと適切じゃないフォーマットが出力 されることがありましてまエラーとなって おりましたがえJSONモードを使うこと でま安定したJSON形式で出力可能する こ出力を可能にすることができましたえ ここまでがえ取り組んだ内容でここからが え最終的なシステムの紹介を行います最終 的な問題生成のこちらあのプロンプトの1 つになっておりますま今回あのかなり英語 を対応しておりましてまこちらはあの英語 の方がトークン数のあのカウント数に有意 性がありまして同じ情報量でトークン数を 抑えることができるっていうのとあとは 日本語と比べてちょっと体感制度が良かっ たなと思ったのでまこちらを採用しており ますただしあの出題フォーマットに関して はこのパラレル問題のところなんですけど もちょっと日本語の独特な表現をちょっと 英語で表現することがちょっと困難だった のでま今回ちょっとこちらに関しては日本 語にしており ますはい続いてモデルの選定です今回え LMは4つのタスクに分類しましたまずえ 取得したコンテンツからクイズを生成 クイズ生成に用いる文字情報を抽出する ためのLM次にえクイズの出題 テンプレートを選択するためのLM続いて クイズを生成するためのLM最後に生成し たクイズの文章の構成を行うためのLM ですでこのLMなんですけども速度だっ たり制度費用の観点から3種類使用して ました使用しましたえ速度を重視したいえ 上2つのタスクに関してはGPT3.5 制度を重視したえクイズの生成に関しては gbt4最後に費用を重視したいえ文章 構成に関してはえメタ社のラマ2モデルを 用いましたえ最終的なシステムの全体の 処理フローはこちらののようになりました ま今回あの20問のクイズを順次実行した

場合に40分以上ちょっと処理に時間 かかってしまってまちょっとあの1時間 以内の提出がもしかしたらできないって いう風な状況も発生しそうだったのでま ちょっと最後にあの並列処理を実行並列 処理で処理することでま半分以下まで削減 することができましたえ最後に所管になり ますまず安定したクイズの生成は想像以上 に難しかったですクイズとしてま制裁が 全然整ってなかったりまそもそも問題が嘘 問だって嘘問が多く出力ていましてま 裏取りを行うようなモデルが欲しいという 風に感じましたあの現状クイズの自動生成 の実用化を考えた場合はま複数問題を生成 してまその中から1番いいものを選んだり やっぱ人手で修正するといった対応になる かなと思っております次にえモデルを定量 化に評価す定量的にえ評価する仕組みが なかったのでま生成したクイズの評価が 全て主観で行うしかありませんでした こちらに関してはまファクトチェックだっ たりま独自の評価基準を兼ね揃えたLMが ベッドを用意してますそちらが必要だなと 感じましたま続けてあの開発行う上でま 制度向上合わせてソースコードもま改良し ていってま最終的には一切エラーが出ない ところまで持っていけたのは良かったかな と思ってますまた今後の展望としましては ま今回は純粋な林クイズの問題に放火当て た形だったんですけどもま様々な主体形式 がり残留に対応できたらなと思いましたえ 最後にあの最終的なシステム構成が実は あのベースラインのモデルと非常に似た ような構成になっておりましてまモデあの コンペの開始時点でも完成系ができてい っていうのがもうすごいあの脱望でしたで 今回あの仕上がりは正直ちょっと自分の中 で道半ばでま改善の位置はまだあるかなと 思ってましてですがま今回のコンペではま 多くのことを学べたかなと思いますえ運営 の皆様ありがとうございましたご清聴 ありがとうござい ますえご発表ありがとうございましたえ それでは質疑に移りたいと思います質問が ある方はお願いしますYouTubeでご 参加されてる方はスライドでお願いします はいあではえっとスライドの方で来てる 質問読み上げますえ出題テンプレートの4 種類はどうやって定めたのでしょうかとの ことですはいえそうですね正直あの私は クイズあのプレイヤーではなくてちょっと あの見て楽しむぐらいのまエンジョイ プレイヤーなんですけどもまなので ちょっとあんまりそのクイズに めちゃくちゃ詳しいっていうわけじゃない

のでま自分のま最低限知ってる知識とあと はちょっとWeb上で調べた時にまクイズ のテンプレートってま大きくけてそのあの こあのなんだろう詳細に考察してる方がま 1020ぐらい上げてる方がいたんです けどもまちょっとニッチなものもあったの でまその中でメジャーで自分をよく見るか なと思った問題をあまりにも多くしすぎる とちょっとあのプロンプトがそもそも長く なってしまいますしま逆にちょっとあの 判断が悪く精度が悪くなってしまうのでま いいとことって4つっていう風に定めまし た関連して私の方から追加でお聞きしたい んですけどそれ4つを変えてみたりとか はさされたんでしょうかそうですねはい 変えてみてただあの全体的に最後の パラレル問題の何なですがっていうのが 結構全体の半分以上占めていてなかなか その言葉問題だった由来問題の問題は作ら れることがほとんど少なかったまあのな 内容的にも情報がないと当然作れない問題 なんですけどですがはどの問題でもほぼ 作れるのでていうのがあったと思うんでま LMも好みがあるのかなっていう風に思い ましたありがとうございます もう1つえっとスライドのできてます えっとラマ2をえ使用した文書構成に関し てえファインチューニングなどは行いまし たかまたえ器用は感覚でえどの程度あり ましたかとのことですそうですねまず えっとファインチニがちょっと今回は行っ てなくてまちょっとあの今回のこのえっと コペに参加する前にま自分の中で1回 動かしててま複数あったんですけどもま その中で1番そのラマ2があのまもちろん 間になっちゃうんですけどもまうまく動い てたなっていう風なことを感じてましてま 清に関しては正直20問中1問か2問 ぐらいでまやってることとしましてあの ファクトチェックなどはしてなくてあの クイズとしてのあの制裁が整ってるかま 例えばあの問題が最後は体現止めになって しまってるとか前振りと後振りの間の接続 肢が例えばなんなんけどになってるとか そういったものをまちょっと微修正する ようなま保護的なま正直そのあの最後の 修正ところはあってもなくてもいい あくまで的なものとしてま今回活用いたし ましたはいありがとうござい ます他に質問等ございますでしょう か大丈夫そうですかねそれでは少し時間 待ってますがはいえこちらでいよとさせて いただきますありがとうございまし たり はいえそれではえ5件目のご発表に移り

ますえ5件目の本語発表はチーム名えヤマ レックスえアクロクエストテクノロジー 株式会社の山本さんですえ準備ができまし たらご発表よろしくお願いし ますはいえ大丈夫ですかね大丈夫ですそれ ではですね私山本からえっと反復修正 アルゴリズムよるクイズ問題作成システム というタイトルで発表させていただきます よろしくお願いしますえっとまず私山本 弘樹と申しますTwitterではテカ 114っていう名前でやってるんですけど えっとちょっとつ版でお話すると自然言語 書類と画像処理研究開発やっていて一応 グランドマスターの家のグランドマスター ていう内を持ってますというのと一応雑誌 いくつが書いてますというとこですね少し だけ会社を紹介させていただくとうちの 会社とてはIoTとま客価創造事業とAI ソリューションま今回はAI ソリューションが1番近いのかなと思うん ですけどまそういった事業をさせて いただいておりますであとは プラットフォーム開発授業っていうのもや させていただいていますあのチーム名の ヤックスって何だっていうのをちょっと 疑問に思った方は多分らっしゃると思うん ですけどうちの会社でまデタサイチームっ ていう名前でちょっと声ながら私の名前が 若干使われてるんですけどはいデックスと いう名前でえっと活動してますはいまAI M使った課解決とかま一応今年KDD カップも出てまあの学会のコンペしョにも 出てましてそこで入賞させていただいたり とかあとは自社サービスでまLの検証部と か開発とかをやっておりますはいという ことでですねま今回の本題としてまうちの チームがどういうそう書を作ったのか みたいなお話をこっからやっていきたいと いう風に思い ますでまそもそも何で参加したんでしたっ けて話からまず行くとですねあのやっぱり やっぱり皆さん今年からチャットGPT カタカタ多分動かされてる方たくさん いらっしゃると思うんですけどま色々 プロップとってコツがあると思うんです けど全然自分で採点とかそういった場置い たことがないんでまどういったプロプだと 有効なのかなっていうのがちょっと分かん なかったでやってみたかったですてのが1 つ目とま2つ目はですねま海外だとLMを 使った何かしかのコンペが慣れてたりする んですけどま日本語のコンペって全然 なかったんでやっぱ出てみたいなと思い ましたで昨年も実はあの昨年は問題を特側 の方でやっていたんですけどま今年は

クイズ作成というやでやってみたかったな というのがま今年のモチベーションになり ますでざっくりあのシステムの概要をこっ からお話ししていくとうちのチーブはです ねあのクイズの作成と修正っていうのを やってますで作成した中でま最も良いクズ を採用するっていうまうちのチームで1番 近た実は作成では採点の方なんですけどま これをどうにかして評価したいなと評価 さえできれば逐次的に修正ができるんじゃ ないかというところをま頑張っていくって いうのが基本的なソリューションの方針に なりますなのでま最初にテマ入て最初の クイズ作ってクイズを修正してま数回 繰り返してま最も今までの中で最も良かっ たものを出しますというのがシンプルなま クイズの流れになりますクイズ作成の流れ になりますでま概要としてはまこんな感じ ですねあのWikipediaのコン テテキストっていうのはもうシンプルに タイトルだけ入れてるものなんでちょっと 説明活しますけれどもま例えばそのテーマ のタイトルだけ入れてそこの Wikipedia拾ってきて確か 6000文字ぐらいだっったっけなま 引っ張ってくるっていそうれだけなんです けどはいそういったことをやってますあと はその採点ちょっと採点の仕組みが ちょっと色々あるのでちょっと詳細後で 説明しますあとはそれに基づいてクイズを GPT4で修正しますこれはあの まちょっとそれぞれ違う理由はあるんです けどあの実は生成した時3.5だと全然 生成うまくいかないなとかがあってま良金 と生成の制度の兼ね合いまト歩を勘案した 時にまこの中身になってますはいえっと ですねまGPT4.0作成した時の プロンプトの主なポイントとしてはま4つ あるんですけどま1つ目はマイフリトアト 限定っていうあの三分にはその構造が示さ れていてあの3っていうのはその今回運営 の方から出されてるサンプルに実はこの 前振りと後限定ちょっと私もあまり詳しい と分かってないんですけどまこの辺り実は あの混線と予選の間に入れてだいぶ精度が 制度っていうか個人的に体感上がったなと 思うところで何も行動しないとですね本当 にこれは何でしょうかみたいな感じの クイズしか出さなくてですね実際これを 指定するとだいぶなんかあの私から見ても 面白そうなクイズが出たなというとこある んでこれは言てますで2番目はえっと回答 1単ことにしとかないとなぜこれが起こっ たんですかいう長文を回答てくるクイズ 出してくるので多分ふさわしくないなと

いうのに把てますで3つはまやっぱり コンテキストはちゃんと適当に検索はして ますけどあった方がいいのでこれは入れて います4は定時サンプルですねはいまフー ショットラーニングっていう感じやつです けどそれをやっていますでまちょっと実際 のプロトをこうやってお見せするとですね システムプロンプトっていうのはあの オープンのAPIで投げられるまあの システムプロンプトに外装とするもんなん ですけどえっとまここでですね赤字の ところがポイントかなて早押しクイズです のねっていうま後限定と答え出せよって いうそれの構造とえっとアフにマイクにア 限定とま実際の例ですかねを入れてますで えっとシステムプムとまこれ続きなんです けどあとはジェイソン形式ちょっとあの ジェイソンのパースのお話ちょっと私も 忘れていたんで言てなかったんでこういう 風にま強引にあのこういう例を出してくれ という風に入れてプロンプトではテーマと コンテキストだけを入れてますでまそう するとまクイズが出てきますということ ですねはいでえっと採点項目は基本的には この流れまこの6項目がま基本採点できる かなと思ってますちょっと全体評価のやつ はもう無視してますいわゆる100点分 ぐらいですかねはい無視しておりますで これだけだと分かりづない具体的に言うと こんな感じのことやってますで基本的には GPT3.5に採点させてまこのナンバー があの全段ナンバーになるんですけど えっとまあなんか答えあってますかとか なんかそういったものを採点させて上の とこはもう機械的にあのpyonで言うと レグスですかねまそれを測るだけでやって ますで下の方はえっと何かって言うと結構 あの問題に正解してるか的なとこ採点の 配転が高かったのでそこを重視してますで これどうやってるかって言うとえっとま要 はクイズ入れてコンテキスト入れた時に じゃあこの出力でこのクイズは解けるん ですかというのをやりたいってことですね そうすると要はこれちょっと厳密えばなん かあって気がするんですけどこのクイズま ただまこれを正しいかどうかを採点する 手段はほぼ存在しないのでまこの場合だと 一応クイズの不正解となってナンバー1の 点数を下げるっていう風なことをやって ますっていうのをやってますまちょっと 一部バグがあって失敗してるんじゃないか なっていう例もちょっとあったんですけど ま一応やりたいことしはこういうことを やってますはいでまプロプとしてはこんな 感じですねえっとまポイントとしては

えっとまちょっと出力の後のところは ちょっと本当は何か書こうとしてえっと 忘れてしまっただけで実はこのハフがある だけみたいになってるんですけどえっとま インプットとしてこんな感じのインプット があってアウトプットはこの実際のサプの 例ですねあの今回配布1番最初に配布 いたいてる例をえっと使ってこうフィー ショットラーニング的にカタカタカタ タイピングしておいてまそれで出力すると いったものをやっていますやっぱりあの チーム内でやっぱり1番議論したところと してはなんでこれ3点なんだろうなって いうのを結構議論していてこれなんで4点 なんだろうっていうのをあの予選終わっ たら全チームが公開されていたんでもう これをすこれなんで3点でこれ4点なん だっていうのずっと議論していてまそれを うまく頑張って反映させたいなっていう 思いでやってましたはいあとは作成は シンプルですねあの問題分と選択肢ってま クイズの回答答えてくださいっていうまA の次に行ってってこれインスタント チューニングのGPT3.5っていくつか あると思うんですけどこんのインス トラクトの方を使ってますチャットじゃ なくてはいなんでまクエスチョンと コンテキストコンテキストま省略してます けど実際4000文字ぐありますでえっと まアンサーが足からバみたいな感じでなっ てるんでえっとアンサーなんか間違あっ てるか間違間違ってる気もしますねえっと まテキストとクスンとコンテクスト アンサーがあってま実際正解を回として もらうと待ちバクですねこれ正解は はいまそういう感じ違うかちょっと色々 間違ってますねはいまという感じでまやっ てましたすいませんはいえっとあとはクズ のえっと修式としてはあとはクイズ修正で はクイズで実際に得られたプロンプトを 使ってまあのクイズをより良くするために 取り組みを行いましょうといったところに なりますまあの具体的にはまGPT4で 以下のプロプを使って終了してま採点後に 先ほどの修正アルゴリズムで修正が最低 アリでちょっと行いますといったところに なりますなんでまちょっとCOとしてはま 以下省略っていう感じですとはいあのそれ が1番最初のプロトとほぼ一緒なのでこの 部分省略していくんですけどまあとは クイズをクイズ作成で参考にしてして くださいっていうのがあるんでえっと要は ちょっとかなり説明はっちゃったんです けどこの辺りで満点じゃなかった項目って いうのは何かしら改善点があるはずです

前提としてなのでえっと例えばあの問題文 と想定外が正しく対応してるかて問題文と 性想定会が 正しく一致するように修正してくださいと かそういうプロンプトを書いて ますえっとプロンプとを書いてまそれを リルのところにえっと入れておりますと いったとこですねあとはま実際のクの9A とか入れていますといったとこになります はいでまこの問題を繰り返すことによって まあのいわゆるそうですねあのま1番いも の選定数っていうのをやっていてあとは ですね時々なんかループし始めてるような こともあったりしたのでそこはもうなんか 強制的に1番最初のフロに戻すみたいな 細かい工夫も内部的にはあり ますであとはさらに良くするためには何が できるかってとこなんですけどちょっと私 もですねあの採点基準の中でちょっと様子 を分解することなかなかできずですねま これが分解できると要は3.ここでも もっとあの採点機能の性能が上がるんじゃ ないかなと思っていますとはいあとは採点 モデル作成ですね えっと結構最初に考えてたのはあの Lightgbmで採点できないかての実 は結構考えてはいたのんですけどこれは ちょっと言語ベースにすると言語に言葉 文字文字に引きづいすぎるので多分ダメだ なと思ったのでま本当はクイズ特有の特徴 量ちゃんと作らないといけないんだろうな とか思いながらはい考えてましたあとは 様々デル試した方がいいなと思っていて ちょっと私もあのOPAIのモデルしか 使ってないんですけど本当はクラウドとか バードとかジメとかですかねはいまそう いったモデルもあるんで本当はそそういう ので最適なもの選ぶのがベストですとた とこですはいあとは色々学びになりまし たってところですかねはい色々思考作しな なかったとか楽しめましたってのと執行作 実際楽しみましたっていうのとやっぱり LMでちょっと力押しですけどやって非常 に楽しかったですといったとこになります あとは皆様あの運営委員会の皆さ ありがとうございましたと非常に学びが 多くて楽しいものでしたといったものです はい以上です発表終り ますえご発表ありがとうございましたえ それでは質疑に移りたいと思いますえ質問 がある方はお願いしますお願いします記憶 者内川ですすごい取り組み本当に ありがとうございましたえっとですねあの やっぱデータの評価のためのデータって いうのが非常に重要になってく

るっていうのはまこの分野やってる非常に 分かるんですけも今回あのえっとま己以の 特殊さが評価した内容だったんですけど なんで点が低くなったとかそういう理由も やっぱりデータとして欲しかったのかなっ ていうところとあとまそれも含めてですね こういうデータもうお金かけてでも作っ たら精度上がるんじゃないかなみたいなご 提言みたいのがあったら是非お願いしああ なるほどあのまず採点結果の理由が 欲しかったっていうのはとても欲しかった ですねあのかなり3日本語のこの3点と4 点何が違うんだろうかとかこの回とテーマ と例えばその答えが一致してるかっていう 答えっていうかあるじゃないですか例えば その そうそういったところも実際これテーマと 確かサンプルでいてはテーマと結構 アンサー外した方がいいみたいなサンプル だったんですけど実際にこう200問 ぐらい見ていると実テーマと回答が同じ ものがあったりとかしたのでその辺りの 基準は若干やっぱり気になったなと思い ますねはいまあと言えのれば多分そういっ た基準とかもう少しなあていうのか今のが いわゆる採点の話でま今後の評価デタして 欲しいなと思うのはもうちょっと採点基準 ブレイクダウンしていただけると非常に ありがたいなとは思いましたねやっぱり クイズに私とかクイズ研究会は全然参加し たことがない意味なのでまやっぱどういう クイズがいいのかっていうのを考える上で うんて結構200も見ながらついま考えて はいたんですけど大体はいま結構難しいな と思いながら最近システムとかを作って ましたはいはい本当にあの取り込まれた 様子が分かってくる回答本当にありがとう ございまし たありがとうございますえとスライドの方 でえっと1つ質問来てるので読み上げます え生成された問題文は採点基準の中では どの基準を満たしていないものが多かった ですかとのことです ああそうですねやっぱり1番問題文と想定 会が正しく対応しているかがやっぱり 低かったなって感じがしますね うんまこれはどうしてもあの問題にたと 回答しなくちゃいけないっていうところも あって結構採点する上でもかなり難しくて あの結構部分回答みたいなのもあったりと かして難しいんですよね例えばその徳川 イアスで回答しなくちゃいけないと徳川 だけ帰ってくるケースとかもあったりとか していてでそれを読んでは徳川で帰ってく ので3.5で毒がスて帰ってきたどう

しようかなとかって いうそういった問題とかもあってですね なかなか難しいなっていうところですね そこは はいもう1つ質問来てますえっと修正され た問題文は実際にどれぐらい改善されてる と感じましたかかこ何回目くらいの修正で 良くなりましたかとのこと2回3回ぐらい でやっぱりよくなりますねあのやっぱり1 回だけ出すよりもやっぱり2回目でま大体 5点とか10点とか上がったりとかはした のでま特になんか変な問題作ってたりとか するとまそういったとこは健聴に見られた なと思います回ではいありがとうござい ます他にご質問ございますでしょうかあ どうぞあえっとなんかGPTを使って再建 するっていう風になると結構なんか甘々な タイプあすいませ んなんかGPTを使って再建するってなる と結構な甘々な採点になってしまって なんかどの問題に対しても同じような採点 になってしまったんですけどその辺はなん かどうでしたかああそれはあの似た象が ありましたていうのであのそれもあって 色々とこう工夫を入れたっていうのがそう いう人の内容にはなりますね実際問題回答 できるかとかっていうのはあの結構本当に 甘くてですねすぐ10点出してきたいとか 確かにするのでそこはあの実際この下の ところの問題溶かせたいっていうのは元々 そういうモチベーションがありましたはい あありがとうございますありがとうござい ますそれではそろそろ時間にもなりますの でえこちらで終了させていただきます ありがとうございましたありがとうござい まし [拍手] たえそれではえこれにて本セッションは 終了となりますえご発表いただいた皆様 改めてありがとうございました ええただいまよりお昼 休 まで1時開始ですはい次はいえっと午後は 1時からえ開始となりますのでそれまでえ 休憩となります皆様ありがとうございまし た はい はいじゃいいですかはいはい今のリハサル でした行き ましょう第4回aioエキシビション マッチ はいえ午前中え技術的な発表皆さん本当に お疲れ様でした大変興深い発表を多かった なと思っておりますさてここからはですね このクイズエア技術がえどこまで来たかと

いうところをまえ技術者じゃなくても一般 的な方に一般の方にも分かるようにという ことでエキシビションとしてですねAIを 午前作っていたAIシステムにクイズ王 たちと対戦していたというのが午後の趣旨 になりますはいこのエキシビション コーナー司会担当させていただきますのは えAI実行委員えまた記憶士や株式会社に おいてクイズAI開発プロジェクトという のをやらさせていただいております市川 孝志ですよろしくお願いいたし [拍手] ますえじゃちょっとプログラムをえっと見 てみましょうはいえっとまず13時から ですね早押し回答部門で作ったAIとです ねクイズ王の対戦早押し対決ということに なりますおそらく早押しのAIとクの対決 は初めてじゃないかと思いますあの今まで 全文を聞いてのねあのAIの対決はあった んですけども早押しという形の対決は 初めての可能性がございます問題文が途中 で止まるやつですねその後14時からは 問題作成部門AIが作った問題にクイズ王 たちに挑戦していただくという形になって おりますまたこれは最終審査を兼ねてると いうことになりますはいでは次お願いし ますさあ早押し回答部門クイズVaio 早押しクイズ [音楽] 対決え午前発表がありました現在 えっと暫定1位となってるAIシステムが ICISClaabさんですねボさん ですえ暫定2位が今日ちょっと いらっしゃってないんですけど両0233 となりますそして第3位がこれはあの運営 側で用意いたしましたベースラインモデル あの運営用意したの結構強かったんですね はいbprってなってますけどこれベース ライン運営でこれをあのこのあのソフトを 元にあのよりよいを開発してくださいねっ ていう参考であげたやつですねその3つが 上位サインとなっておりますさてこの3 システムにえの挑戦を受けますクイズ王の 皆様をお呼びしたいと思いますまず1人目 はこの方 です令和のクイズブームを牽引したクイズ 番組東大王はこの男の優勝から始りました 冷静沈着な表情で答えを出すお茶の間の 人気者は研究者としても東京大学大学院 数理科学研究話の博士家庭を卒業記憶士の 長でクイ作問AIの研究生果も発表してる この方初代東大王鶴崎久典さんですお願い し ます はいまでおじみの崎さんですさあ次行き

ましょうお2人目です今のテレビのクイズ 番組はこの人に支えられと言っても過言で はありません水曜日のダウンタウン トリビアの泉などの超人気バラエティ番組 を手掛けるウレッコウレッコ放送作家にし てクリームクイズミラクル9高校生クイズ など多くの有名クイズ番組を支えるクイズ 作家学生時代には第4回高校生オープン パデルクイズアタック25で優勝するなど クイズプレイヤーとしても活躍したのは この方ですクイズの神様矢野平 はいえキズの神様ってあだ名はですねあの 矢野さんをモチーフにしたあのクイズのカ 作という漫画がございましてそちらからけ ましたはいでは3人目になり ます3人目のクイズをです巷で開かれる 年間300以上のクイズ大会参加してみる とひひと答えながら気づけばいつも優勝し ている男をいるのが皆さんご存知でしょう かクイズのオープン大会で通算100勝を 達成する無類の強さを起こるこの人を人は こう呼びます競技クイズ会最強の男 徳康はいというわけであの非常にあの私の 視点でも豪華なクイズを3人が揃ったと 思っておりますけれどもじゃあちょっと 順番にちょっとこれからの早し対決に向け てコメントを伺いたいと思いますまず初代 東大つさんいかがでしょうかいやAIと 対決するってののは今までにもうないこと ですからもう緊張してるんですけどやっぱ いやでも強ければ強いほど嬉しいんです けどAIがでクイズをチームが的には なんか弱い方が嬉しい みたい複雑な複雑な気持ちですねはい じゃあ最後に一言勝つのはどっちでしょう え勝つのはどっち かどっちであってほしいかなまでも頑張り ます 続きましてえクイズの神様矢野平さんです 一言お願いしますいやあのま早押しま 答える側自体がまちょっと久々なのであの ドキドキしておりますけどもまあのAIに は勝てるとしたらあの勘で勝負する部分か なと思うのでまそういうところで人間身が 出せたらなと思いますはい頑張りますお 願いしますよろしくお願いしますはい最後 己委員のメンバーでもあります技最強の男 徳康さんです一言お願いしますよろしくお 願いしますえそうですねあの午前中から あのえ拝見しておりましてあの早押しえ 回答部門のえ方々のえがどういう アプローチをされたのかっていうのも伺っ てましてですねあの大変興味深い話が たくさんありましたのであのまだえっと今 視聴されてる方とかですねそっち見てない

方は後で見ていただくといいかなと思うん ですけどもこう一文字1文字こうえ判断を していってえその時点で何をえ回答として こう第1候補として考えるかというなこと をま我々人間はなんとなくこうやってる わけですけれどもそれがこうえ機械的な アプローチで分解されてくてこういう風に なるんだなっていうのがよく分かりあの 大変あの見ている分には楽しいんですけど 対決決みたいなねところがありますねはい はいじゃあすいませんちょっとやさんに 聞かなかったですけど勝つのはどっち でしょうそうね僕なんか10年以上前に ですねなんかあの発表した文章があるん ですけどそこではあのAIは人間にあの 日本語のだと勝てないという風にえ書いた んですけどなんか負けそうな気がして ますあの言論という雑誌に載っていたや そうですねはいあの国民クイズ2.0って いうのがネットで検索すると出てきますん であの興味があればはい読んでください はいというわけでさあえこの3人とAIが ガチンコ対決となりますじゃルールを説明 してまいります次のページお願いし ますえルールですえ早しクイズです問題 まして1番早くえっとボタンを押した人に 回答権がありますこれまずクイズをの ルールを言ってますけども正解でその個人 にプラ1ポイント間違えますとその問題 だけ回答権を失うあの一般的なクイズでは ちょっと甘いルールですけど実はこの後 説明しますがAIはもっと甘いルールで やってるのであのこれでも十分厳しい ルールですなおこれ同着には全員に1 ポイントと書いてありますがえっとこれ 同着ルールを採用する時はですねあのAI 同士が全く同じとこで押した場合それ これれからですね自己員があのそちらの クラースというものがですねあのAIの 押したとこのポイントで代わりにボタンを 押すんですけどもそれが明らかにブれてる なということがあった場合はちょっと実行 委員会の裁量でこれはほとんど一緒だった ねって時は両方者に1ポイントということ をやる予定ですはいでえっと7ポイントを 取る個人戦ですえっとAI3システムと クイズを3人誰が1番最初に7ポイント 到達するかということになりますなおAI はえリアルタイムであのできると良かった んですけどまだちょっとその能力がないと いうことで事前に回答済みですでここ ポイントなんですけどですねあの12時間 以内に解くとなってますのでえっと1万 あたり何秒でしたっけ20何秒かかけて2 分くらい2分くらい2分くらいですね1万

あたり2分くらいかけてあの解いてますん でまずここの時点でAIは有利ですもう1 つAIは4回目の後頭で回答権を失うと あのこの後出てくるあのポイントは1回 押して間違えた2回押して間違えた3回 押して正解したの3回目しかあの表示され ておりませんなのであのその3回目であの 正解したところがやたらすごいのはもしか したら3回繰り返した結果ですごかったの かもしれないということなんでまそのいう 意味でもこれはちょっとクイズ王に対して ハデがついている状態でのあの戦いていう ことはちょっとご理解いただければと思い ますあのハデをつけてうまくいかなかった 時はちょっともう1回やるとか色々考え たいと思いますはい次のページお願いし ますえ問題はえ300問用意しております えっとですねこの300問に関しましては えこでちょっともう1人紹介しなければ なりませんえクイズの総合調査株式会社 キュービック様にえ2年前にですねaio の課題向けに作成していたいた問題を使用 いたします問題をご提供いただきましたえ キビの代表取締役の中野高さんちょっと 今日は会場にらしでこちらいらして いただけるでしょうか 拍手はいすいませんあの今回問題作成本当 にありがとうございますりません ありがとうございます今回のあのAIがく 問題作ったということなんですけどもあの どういう思いでしょうかとはいまあの人間 がえっと普段やるクイズに対してえっと AIが解くということなんですけれども あの特にAIのあの知識と人間のさあの今 教会が曖昧になってきてるわけなのでそこ はAIに対して送るということはあんまり 意識せずに普段我々がプレイしてるクイ ズっていうのをあのなるべく作るように 心がけましたはいはいはいあのどっち勝つ と思いますいや個人的にはやっぱりあの 人間の皆さんに勝っていただき の技術の速さからするとちょっとAIも 侮れないかなという風にははい個人的には 思ってますはいじゃあありがとうござい ますえ今回あの問読みもですね株式会社 キュービックの小林さんが務めていただき ますはいえキュビック林と申します よろしくお願いいたしますよろしくお願い し ますではえっと戻っていただいて大丈夫 ですえっといくつかえっと補足事項が ございますえっとまずですねえこれはし区 としてですね今日出題するのにな問題これ 2年前にお願いした問題ですのでちょっと 不なものがいくつか混じっておりました

あのコンペ上は使用したんですけども今日 出すのはちょっと不だろうっていう問題は 出題者の判断で10問ほどスキップして おりますその問題はま問題が抜け番になっ ておりますので今回の対決には使わないと いう形になっておりますそれからですね えっとどこから始めるかなんですけれども えっとこれなんかどっかの大会のパクりな んですけども何万から始めるかについては ですねえっと1から300までの好きな 数字を指名していただいてその問題から 出題始めると例えばえっと20番って言っ た場合202122という風になるという ことでこれを選ぶのが結構責任重大でです ねあるとこはAIが無双の強さをしてるか もしれないということなんですけどもま 1番最初にご入場いただいた鶴崎さん1 から300の好きな数字を選んでいただき たいと思います難しいですね人類の 名運こういう時はでも1番にしましょうお おじゃ1番ということになりましたはい じゃこちらですねじゃボタンチェックをし てきましょうじゃ鶴崎さんからボタン押し てください山さんえ者さんAI はいさあAI対クイズを早し対決どうなる のかどうなるもういきなりもう例題なしで 1問目から行きますよはいでは林さん問題 をお願いしますはいります 問題のクラシックレース1000ギニーと 2000ギニーが開催ついたの特さんはい えっとニューマーケット競馬場素晴らしい はい問題を見てみましょうえ開催される 競馬場はどこ競馬上はの部分でえっと システム1えあのシステム1が答えてる とこ12って書いてあのはですねシステム が3つあってその各システムが1番最初に こう答えたところです正解が出したところ が出てますということで今回は1番の システムがが1番早かったことになります がそれを上回ったのが徳久さんということ で特さんに1ポイント追加されますさ特 さんこれ7連で人類の力を見せつけて くださいじゃあえっとはいじゃあ次の問題 お願いしますはい問題ウイスキーや ブランデー独特のくんで黄色味ついたのは 特 さん琥珀色 強いはいええんであ答えをどうぞえ黄み 帯びた茶色のことを地質時代の植物のえ 樹脂が地中に埋没して化したものにちで なんていうえ琥白色ということで地質時代 の字であの1番のシステム1番のシステム 強いですねはいが正解してるということ そうかそうかいつも1番のシステムは1で 出るってことですそうですねはい3番の

システムが早い場合もあるし2番の システムが早い場合もあるということで これも得意さ2連投ということで2 ポイントこのままクゾがあの突き進むのか では行きましょう次の問題お願いします はい問題部分凍結ついたのはAIを パーシャル室正解 ですはい答え見てみ ましょうえ分凍結という意味がある冷蔵庫 でマイナス3度程度の温度を保つ部屋を なんというこれは語言問題やai強そう ですねはいということでこれはえっと1番 なのでえっとICSラボさんICSラボ さんが1ポイントとなりますとは近いん でしょうね 多分確かにねま古屋に行きましょうぜひ あの間にコメントいただいて全然構いませ んのはいでは次行きましょう次の問題です はい問題お母さんと子供の2人を応援し たいという思いから名付けられたベビー用 品ついたのはAI コンビaioが早かったです ええけられたベビ用品メーカーはどこと いう問題でコンビというメーカーです今で もクイズオとほぼ同じようなポイントでし たねはいこれもあのICSラボさんがあの あのですす毎1毎1位です知ってんだな はいじゃ次の問題行きますお願いします はい 問題ノルマンに宮殿やマはいついたのはA パレルモ ノマは劇場なの観名所があるイタリアリア 島最大都パレルモですこれイタリアのあの ま大きい島の最大の都市っていうことで 結構難しい問題だったんですけどもAIは 難しいことは気にしないとさあこれでAI 徳さんは逆転ですやいちょっとなんか作戦 だったりしな大丈夫ですか台あるかのよう なもいいですよなんか動してもでも ペナルティないんですよ基本的にその問題 押せないだけだから確に確かに早くAもし ですよね単純にこれ絶対無理だもんねこれ はもう無理これはもう無理です知らなきゃ 無理うんだから無理じゃない問題で頑張ら ないとそうそうそうですねそうそうもう ちょっと勝負してもも押してきましょ ちょっとうんはいじゃ次の問題お願いし ますはい問題大阪市に本局 最ついたのはエアよ造兵局行けたあこれは 行けたっていうこと大市本局埼玉市と広島 市に曲がある果や勲章の製造を行う独立 行政法人これはえ増局ま大阪市の造兵局が ですね桜の通り抜けとかで有名という出か なと思います崎さん惜しかったいや大阪市 に本局行けましたねちょっと間に合わ

なかったやっぱりAIとクイが出す ポイントは結構近いかもしれないという とこで結構大事なポイントで押しないと ちょっとさんがちょっと たにポイント早くなることがありますねで は次の問題お願いしますはい問題984年 に波のついたのは [音楽] Aちょだだ静かになっちゃいました984 年の安にって書かれたえ現日本の医学は これですけどこれ多分AIですねあの 984年絞り込んだ上で作者名か著書名を どっちか決まるところまで待ったんじゃ ないかなっていう感じが理論的には分かる んだけど人間だから想的な早押しではあり ますね想的だなこれ本当にうんまずいな まずいちょっとまずいですねまずい5点え 300もあるんだから本当そうだよなはい では次の問題お願いしますはい 問題アメリカのガングメーカー マルシついたのAIを バービーバービー ですマテルの業者の娘の相性から名付け られた世界的に有名な代はこれバービー ですいや確かむしろ負けてる人の押し方 ちょっと早いこれはこれはちょっと早い 早いよちょっとクイズをちょっと明けに 捉えてます次終わっちゃいますよこの イベントやばいやばいやっぱみんみんなの 力で何回か押して最後近づいていくもう 団体にした ガメーカーでこいつもだってあのこいつっ て言ってすいませ ん人ですこのこの人もねその3回目でこれ で合ってんのかもしれないから確確あの 人間もちょっとチャレンジチャチャレンジ しいないあリーチがかかりましたゆがった あのクズはねチャージと言われる勝負に 行くということができますのではいじゃあ 行きましょう次の問題お願いしますはい 問題韓国の夏の定番ス杉田の徳さんえっと なんつんだっけなえっとパッピンス 見事これがクズオのチャージと言われる 技術ですね負け出した時にはいえ定番 スイッチとられるアキやフルーツを たっぷりのした観光風かき氷ピンス パッピンスも正解ですあちなみにどういう 思考で出されましたこれは普通になんか そうかなと思ったっていう感じですねはい 韓国夏 定番かき氷だといいなっていうああ なるほどちょっとでも思いついたら襲うと いう気持ちではあるのはいまAIも ちょっとでも思いついたらどんどん答えて きますのでその精神で頑張ってください

じゃあ次行きましょう次の問題お願いし ますはい問題サイコロで各面についたの特 者 さん 21どうぞ720あ違やばい違違ったさ 最後人類最後の取ですはい両方違ったじゃ 最初からもう1度問題お願いしますはい 問題サイコロで各面に描かれついたのはA を 目は命に描かれている数字全部足したり ですねかけたりしたんです けど描かれているものを顔の一部にて目と いうことであこれは人間の悪いとこが出 ました考えすぎてしまったということで この勝負はまずICSラボの勝利という ことでおめでとうござい ます ちょっとこのまま終わっていいかなと思う んですけどちょっとまちょっと感想聞いて きましょうつさんいかがですかいや ちょっとICSなうん強すぎですね聞いて から反応するところでその我々が聞いて から反応するところでこうあのちゃんと その聞く部分を途中で切ってくるんですよ ねあそれがすごいわ本当にうん野さん いかがですかいやちゃんとこうあここで 絞り込めたなっていうのが分かるところ でちゃんと押してるのがなんか悔しい 悔しい本当理想的な早押しをしてると思い ますうんさんいかがですかそうですね やっぱ人類ももうちょっと3回チャレンジ 券をこ目みたいなことを前問題やれ ばねあと1点ぐらい取れたかと思うんです けどでもあと12点ぐらいだような気がし ますねあの結構強かったですね一響じゃ ないですつまりあの丸2の方とかには 勝てるような気がするの方がちょっと じゃあですねもう1戦やってみましょう もう1戦今度はですねあのAIをちょっと 得意なルール過ぎたということでですねえ チームで3回まで後頭していいというああ 体aioチーム対クイズaioチーム対 クイズチームという形にしますえっとこう いう表示ですけどもえっとそれぞれの点数 を合計して7点に行った方が勝ちとはいで えっとま同じ人ばっかり3回答えちゃうと ちょっとあれなので同じ人は2回までにし ましょうだ鶴崎さん2回ごとをしたらあと は徳さんと矢野さんという感じであの1つ の問題に回までできるこんなルーであま クイズやることないですけどはいこの ぐらいやんないと多分ちょっとAIに叶わ ないんじゃないか強いなま同じルールです これでようやく同じルールなんでハデが なくなりました確か

に れん騙されてるのはなくなりましたそうん だこんなルール考えてたん だいなあちょっと僕もねこ抑えもらって ちょっとぶっ飛ん だこれ勝っちゃうAIと思ってはいじゃあ ですねえっとまた問題の始まる番号を指名 し直していただこうと思います今度はじゃ 矢野さんにしましょうか矢野さんえっと今 が何も目まで出ました今は9で10で 終わりあの11から11からまあ280 ぐらいまであのえっとそうですね1位に 戻ってきちゃうのではいじゃあ123番 から123番からはいちなみにこれやらせ ないですからね本当にはいやらせ全くなし ですはいただまこの想定は結構していたの でもう1戦という想定はしておりました えでは123番の問題ですさあこれでもう チーム戦ですAIチーム対クイズチーム7 ポイント合計で先に取るのはどちらか じゃあ行きましょう123番の問題お願い しますはい問題1989年若手バレー ダンサとついたのは徳さんわかんない全然 え何でしょうええ熊川哲也さん すごいすごいさあ徳さん本気出し出しまし たねすごいわりますロザぬローザで押して ますす確かに当たったって感覚で戦ってか ないといけなかったねはいまでも顔も 当たったでやってるのでこれで本当に同じ そうですねあの実際のは何人か思い浮かん でて 当っ繰り返して のじゃ次の問題お願いしますはい問題正式 名称を 日本のさんだっ [拍手] 名様々なイベントこ関東の施設もうAIは 正式名称なんてもう好物ですねそうですね 強うん危な危なよくそれをAIに押しかち ましたねこれはだから一瞬ベまで読んで くれたのがこれ人類のこれAですよ読まし というはですはいせってのは押した後 聞こえるのをちょっと待つというとこなん ですけども今回あのAIは読ませ押しが できないという設定になっておりまして AIが押したところで音が聞こえたとこで 押すという設定にしておりますでは次の 問題26番ですかねあ違う125ですね 125番お願いしますはい問題ジペ社区の 国慶本東海道中膝毛で人道ついたの者さん えヤジさんとき さんももう1回も1回えなんつえっと 北八見事ですえ新地を繰り上げ2人の主人 公は矢と誰という北ですちょっとねには もう1回がないのであのどうしようか迷い

ましたがちょっともう1回らごだとしても 言えたこと許しはいはいそうですまもう1 回押せたと思いますねはいということでえ あ今回時2ポイントリードを保ってます これ2人合わせて3点なんで今かなり勝っ てますね3人類本気出したいや油断するの 人間の悪いと向こうないですからそういう 得点状況とかないんではいでは次の問題お 願いしますはい問題出し汁で解いた卵駅 着いたのはやさんかなりくださいよ大丈夫 です か卵駅茶碗無視 すごい当たったすいこれも 出玉駅にえ鶏肉銀などを入れて蒸したと はい矢野さんは確か料理がお得意だったと 思ままでもこれはもう単純に出し汁で解い た卵焼きで何作るかなでまどう転がるか わかんなかったですけどとりあえず行って みた感じですねはいすごいえ料理作って なかったそうですねはいここでねまだね そう出し巻き卵じゃなくてちゃま虫と 言えるのが人間 のがあります具を入れてほしいと思うです 具を入れて ほしい具が入さあ次の問題お願いします はい問題英語で所有つたの鶴崎さん プロパティ最初からもう1度お願いします はい英語で所有支配ついたのはどちら あちらですAIをポゼッション ポゼッションですという意味があるえ サッカーでチームがボールを持ってる状態 を指す言葉はショ はいちょっとね分野がわかんないんです けどAIはちゃんと絞ってきましたす結構 色々あるけどまポゼッションサッカーとか いうあの葉ありますねそのポゼッション ですなるほどなさあえAIもなんかもう 本気を出し出してる感じがしますねじゃ次 の問題お願いしますはい問題旧約聖書に 登場する海のついたのAIをさんうん これいやけた可能性があるそう3人やれば なんとかなったはいちょっと文字通り油断 してるかもしれないいやいや いやで流れがねあり流れがにはない じゃあ次の問題お願いしますはい問題野球 やゴルフでボール をスイートスポットあ最初から問題お願い しますはい問題野球やゴルフでボールを 打つ直前に 頭あた頭ダウンスイングうわかんね続 はいえボールを打つ直前に頭が上がり ボールから目を離してしまうことをなんと いうあごめんわかんない わかんもわかんないもわかんないAIも わかん危ねえお世界

ッはいあスルー ある知らないんだもわからないキビさんの 問題野球が難しい傾向がたまにあるんで キビさんていうかお林さんかもしれないあ だから4回答えても答えれなくなった可能 性がありますよねえあ確かに確かに いっぱい答えてねそれは候補が出そうな 文章であるはいでは次の問題お願いします はい問題反抗の行動感の設置やついたのは 鶴崎 さんここか えっとちょっと待ってあ出てこない最初 からはいどうぞこれいいのはいつくにあ 違う違うあと2回ですどうぞはい反抗の 行動官のやっていいんですよねこれねミト ハあ違いました頑張っさあと1回ですあと 1回せるのか4回目で終わりかはいそう ですねえ反抗の行動感の設置やついたの AIを徳が 成明楽園の増を素敵問題知識でしたねとは さあ4対3ですね合計はい追いついてきて しまいましたやばいなシナリオ書いてない ですからやばいなやばいやばいこれやばい じゃあ次の問題お願いしますはい問題 アラビア半島南端についたのはえこれ崎 さんです ね おまんあれ最初からお願いしますはいえ アラビア半島南端に位置する イメ着いたのはAIをアベンう第2の年で かつて南園の首都が置かれていたのアデン ワアデですねはいあこれはお違う プログラムこれはベースラインモデル ベースラインベースラインモデルでも今回 は団体性なのでこれも点数になっちゃい ます はいさあ1番のモデルもこれ最強では なかったっていうことですね はいではこれで4対4はいちょっと分かり にくく申し訳ないですけど上足して4点下 も足して4点となります次の問題お願いし ますはい問題ノーベル平和賞を受賞した こともあるMついたのは王国境なき石だ くそこれはすごいなえMSFと略される 国際量オランピア団体国境なき石団これは ねかなりすごいと思いますね安全に巻け ましたねさこれでい5点やばい人類やばい よやば はいでは行きましょう次の問題お願いし ますはい問題家事で差し生そうついたのは 鶴崎さん 掃除おいしいのがこれを鍵で差しと言わ れるのは再しけえ水選択掃除一応聞き ましょう鈴さんなんで掃除と答え写しすせ そって言ったらこう順番に答えるしかない

ですよねだから放とかにはならなくて掃除 になるとおはいということでこれはAIは できなかったかもしれないですねはいま 掃除が答になるとは限らないんですけど このね勝負の場面ではそうなるに違いない と言ってずしかないという感じかと思い ますでは行きましょう次の問題お願いし ますはい問題1913年に黒い悪い 子着いたの徳さんはいん でしょうでミゼラブルすま最初からお願い しますはい1913年に黒い悪い子 が着いたのは鶴崎 さん レジュさあ黒い悪子に関連す対食が浴びせ てます次お願いしますはい屈王さあと1回 になってしまいました最初からお願いし ますはい1913年に黒い悪いが80万年 後の社会た者さんタイムマシンお すごい すごいはいえ8番の境というタイトルで 訳したえHDWSのSF説これ結構そんな にクイズでよく出る問題ではないので時 さんと料がAIを上回ったというとこだと 思いますしかもAI同じとこしてますねす これは読ませおしの勝利はいすごいはいで は次の問題今点リーチですリチよしさあ リーチ です次行きましょう どうぞはい 問題葉っぱの表面にある塩ついたのは矢野 さん塩あんだっけあれしょっぱい やつえあれなだっけ最初からお願いします はい葉っぱの表面にある塩を隔離するため の白い細胞が氷のよあそうそうついたのは あちょっと待ってくださいね氷のよ あでもそこで押してましたねはいじゃジ さんどうぞアイスプラントあ あ最後ちょっとねえに応遅かったかもしれ ないですけどまでもここほぼ同じとこで 押してたのでこれはもう1ポン両方1 ポイントだったというルールを適用したと してもこれはクゾ勝利ということ ですちょっと最後申し訳ないですけども えっとということでま一生いぱというか ハデなしでやればギリギリクイズは勝つと ギ新たなトリビアが1つ生まれますはい 鶴崎さん戦っていかがでしたかいや ちょっと1点しか取れなかったんですけど まベースラインと同じなんで僕ベース ライン程度 のいうことになるかなとはい矢野さん いかがでしたいやなんかさっきのあの カジノ差し走のあの裁縫でそが想像できる AIと最後まで聞かなきゃわかんない AIがいるっていうのもあまAIなんです

けどちょっと人間っぽいというかなんか そこのあのえ何を学んでるかっていうのが ちょっと垣間見えたりとかしてすご 面白かったですねはいこれなんかテレビと かで使えたりしますかねAIと戦うってね 大体あのAIと戦っていただきまっていう と大体裏でスタッフが5人ぐらいいる 危ない生放送ですからねこれ危ない危ない 危い危危ないこと言わないでください本当 にま本当ガチで人間と戦うレベルまで今 までなかったんですけど本当そういうこと ができそうですねすごくうん楽しそうはい はい徳者さんいかがですか強かったですね 徳者さんも強かったと思いますよこれ十分 いやえっとこっちね2回目は人間側が色々 こう対応したんでえっとちょっとたまたま ちょっと勝ったわけですけどこれつまり あのAIがここで押しそうだなっていうの を見て人間側が今度は学習してあの正式 名称とか英語とか押していこうということ でえ対抗してるわけですよねなのでえっと そのうん人の読てAIに勉強されると さらに 早くあのもうもうだめかもしれませんがま 今んところまだねなんかあの楽しく勝負が できるということでえ良かったんであの AIに負けないようにですねもうちょっと 知識を入れてはいあの日々頑張ろうと思い ましたもこれAIがこAIのこの結果を元 になんか勉強するクイズプレイヤーが出て きそうですよね確かにそうですよねここで 答えられるんだっていうのがねあのなんか 確率が分かるかもしんないですよねその ここまでだったらさっきのえっとアデンと かてまだメとしか言われてなかったから 100%あそこで分かることはありえない と思うんですけどあのままあまあいい確率 でえアディに落ちそうだということをえ 教えてくれるということがあるかもしん ないのでそういう意味では今まであのね クイズプレアって人間のクイズしか見て なかったわけですけどあの別のこ勉強の 仕方というか評価軸が出ると面白いかなと 思いますね今日さっきのアラビア半島南タ に位置するっていうヒントがあったんであ そうか場所が所在値ってことか所在値 プラスイメンかあそうかそうか確かにま 人間はそこまでわからない ま分かる人もいるかもしれないというわけ で本当にクの皆さんこれねAI戦うの なかなかあのプレッシャーのあったあれか もしれないですけど本当にありがとう ございました矢野さんがクイズ久々なのに 久々にやった楽しかったすすごはいすごい あAIに勝てるあでもAIが最後4点取っ

てるんですね確かに彼が彼が4点だ団体戦 としてね団体というはいさすがでしたと いうわけでえキシビジョン第1部の方を 終わりにしたいと思います今が3あ時間 まだありますねえ勝負してみますもう一戦 一生いっぱいだ からもうやだやだ分まで時間あもう1戦 やりましょう か面最後の一生いっぱいま同じルールにし ましょうあのえっと結構最後のもギリギリ だったと思いますんでじゃあ最後特者さん 番号お願いしますあ番号ですかえっと 123から始めたんでよじゃあえっとえ 200から200番 からはいはいこれ台本ないですから本当に 200ってちゃんと入れてそこの題始め はいちなみにこのシステムはあのねあの 運営のものが1夜にして作ったという得点 表示使いたいんですけどね大会で使いたい はいでは行きましょう200番の問題から じゃあ最後ちょっと店舗よき行きましょう 最後なんでじゃあ行きましょう問題お願い しますはい問題科学実験に用いるフラスコ で首の途中ついたのはえ崎さん 白鳥の首 フラスコ最初からお願いしますはい科学 実験に用いるフラスコで首の途中から 細長いガラス感が分岐した形ついたの鶴崎 さんえっと江フラスコありがとう 願ブラスコはこれねAI苦手だったみたい ですねああそうなんだええ2番のシステム 以外は正解できなかったうんさあ崎さん さすが理系というっ次の問題お願いします はい問題 1883年7月25日ついたのはAIが 岩倉 とみ日本政府で初の国とが行われた名士 これクイズ大会でもたまにこういうする人 いるんですけどもみんながねこういう空気 になりますよね日付まで覚えないでくれて いう国の日付覚えてるのすごいななまあね 覚えてるというかま学習してる感ですね はい学習したものは間違いないでじゃあ 行きましょう次の問題お願いしますはい 問題西暦105年に樹皮やついたのAIを 再臨ちょっとAIはちょっと年号問題強 すぎですね再臨の 年号確考えたこともなかった本当かこよく わかんないですねこの時代僕でも個人研究 でね再臨の連語はポイントになるってい 考えたことあるんでええ10年10年 105年他に来ないですね多分確かに年気 ないはいでは次の問題お願いしますはい 問題代表作大草原のついたのは福者さんえ ワイルダーお正解でした2対2ですね外の

チ作家はローラインガルスワイルダーさあ 2対2同点次の問題お願いしますはい問題 イタリア語で古い派ツタの特者さんはい えんだっけポンテ ベッキオ えがあるイタリアフレンツあるの同じ ポイントでしたねは厳しいはいでは次の 問題お願いしますはい問題ジペ車1区の 国慶本東海道中日毛にも登場する静岡県 着いたのは特者 さん7の 私最初からお願いしますはいえ1区の国本 東海道中にも登場する静岡 県野さん卵ふわふわ見 [拍手] たいですね 名で2 つ卵だったら勝てます確に卵で卵でてるで は行きましょう次の問題お願いしますはい 問題フランス語で巨大ついたのは野さん これわかんない すさあチームメイトのために1回止めにき ましたじゃあえ最初からお願いしますはい 問題フランス語で巨大な音声ついたのは徳 さんいやわからないですねごめん なさい最初からお願いしますはいフランス 語で巨大な音声メガホンメガホン正解です やさんはい危危ラッパ型の道具はメガホン です意に行かないよしよし5対2おさあ クイズをこれで2勝1ぱいとできるか次の 問題お願いしますはい問題谷川俊太郎の市 麻のリついたの徳久さん え キリえカムチッカの若者が見ているのは何 の動物の夢キリの夢ということではいこれ 時さんどう考えましたそうですねえっと まああの死の中でクイズとして聞けそうな ことというのがまいくつか限られているの でえま何回かチャレンジしていいんだっ たらえキリと行ってみて次カムチャッカと 行ってみようかなと思っていたみたいな こと候補の単語が読めてたっていうこと ですねそうですねよくなんか覚えてますよ ねこんなことその映ね本当の中身はいこれ も1番のポイントが結構早いとですねカム チャックの若者をちゃんと聞いた上でです ねでは次の問題お願いしますはい問題 振り出しあがりツいたの鶴崎さん うんすご 6でこれでク合計7点ということで 入ちょっとやっぱり34回押せばいけるか もという感じがはいありましたねまさんも ちょっと疲れ が疲れてき たあの最後じゃ一言ずつあちょっとまず

そうですねこの1番のシステム作られた方 ちょっと一言いただけますかどうですか はいこうせっかくだ [音楽] からあのはいビルシステムの金はいあの どういうシステムか是非午前のあの発表 ご覧になってくださいいかがが戦ってる様 そうですあのちょっとびっくりしました あの自分自身でもどこまでできるかって わかんなくて本当に全然押せなかったら どうしようって思ってたんですよなんです けどあのやっぱり意外と同じようなとこで 押してるしなんで判断するポイントとか やっぱり使う情報ってだいぶ同じところが 取れてるんじゃないかなっていう気がし ましたはい覚えさせてるのが Wikipediaの情報とあとクイズの 問題クイズの問ですねあのクイズの森で あるとかそういう一般的にあの公開され てる問題を使っていいというルールだった のではいじゃ結構いい線がいってたって いうとこですねはいクイズは強かったです か強かったですねちょっとやっぱり後半 あの対応されたってとこが あのと思うんです けどいやこれ勝てるのかなってちょっと わかんないですね追行こうやっぱり人間が 対応してくるのにどう対応していくか わからないですねでき料理の差しのみたい な問題をね配するのどうしたらいいの かって感じはしますけどはいありがとう ございまし たあと5分あるので最後一言ずつクイズを からもらいましょうあはいえやっぱり なんかすごいというかなんかこう人間が 理想的な人間が押したらこうなるだろうな みたいなポイントで押してくるところが 多くてそれが本当になんか感動しましたね うんはいできるってことです はいさんいやなんか例えばそのじゃあ クイズ研究会に入ってクイズ早押しを勉強 したいっていう子が1回例えばAIにこう ここで押すといいよっていうスラッシュを 入れてもらった問題集を見るとここで 分かるんだって感覚がつめるとかなんか AIを使うことでクイズの勉強がよりはる とかなんかそんなこととかもできそうだな とかなんかすごくうんなんか未来を感じた というかそうですね藤太さんとかがねAI を勉強してあの今7間取れてるという8観 ですね8観取れてるそうれと似たような ことになっていくかもねクイズ強くなる ためにAIを取り入れるっていうのができ そうでちょっとワクワクしましたはい ありがとうございます特さんいかがですか

そうですねはいあの皆さんおっしゃること もその通りだと思いますしまもしかすると こうこういうにやってるとやっぱAIが強 そうな問題ってのもありますしあの逆に 言うとなんかわかんまたまたまもしんない ですけど人間が問題はなんか食べ物に 関するものが多いとかまでも身近なもので あったりこう選択肢はいっぱいあるんだ けどえ人間にとってえ情報であったりもの であったりするとえ答えをうまく導き やすいみたいなことが人間の特性としても あるのかもしんないなと思ったりだとか そのAIと戦うことによって人間側につい てもこう理解が深まるのかななどと思い あのとても貴重かつ楽しい体験です本当に ありがとうございましたありがとうござい まし た中野さん主題者としてのされぶりを ちょっとコメントいただけますかあああ ごめなさいはいそうですねすいませんあ先 にお呼びしてったはい問題 AI対クズの問題を作った人は多分指導初 だと思いますいやそうですねあのすごい 面白くは拝見させていただきましたであの 人間の言葉ってえっと喋る言葉で言うと すごい同音意語が多かったりするんです けれどそれAIの場合だと文字皿でもあの 確定させちゃったりするんであの例えば 反抗の行動感っていうワードが出てきた時 も行動感って言われるとどうしてもあの 可能頃の方に頭がいっちゃうんですけど 人間の場合そうじゃなくもうあのあっちの 行動感で確定させてくれるくるわけなんで そこの違いはやっぱりどうしても現れてか なてのがはいちょっと厳しい回はそうです ね今回はあの音声認識をした上でAIをや るっていうシステムではなくてはいはい あの純粋にあの文字を入れたのでその分も AI有利だったかなとそうですねそこは ちょっと人間さんかわいそうだったからな そうですねまかそうな中でも勝ってそう アジャストしてくるようになったのが ちょっとすごいなという風に思いましたね はいはいま人類は学んでくんだということ も分かったんですけどまこれもし次回が あったとしたら次はどうなるか分からない 雰囲気を感じますというわけでええこれで えAIを対クイズを早押しクイズ対決は 終了といたしますでは10分ほど2時まで ですかね2時まで休憩いただきます ありがとうございまし [拍手] たやばいでしょ いや 後半戦になりますaio問題作成部門最終

審査AI作成問題にが [拍手] 挑戦はいえっと先ほどまではAIと造が 問題を解くのを対決するでしたけど今度は AIが問題を作ってきましたはいえ今回 問題作成部門こちらも今回えAIで初の 部門になりますえまず上位の皆さんこちら に書いてありますけどもAIシステム上位 の方暫定1位ヤレ [音楽] さん のまちょっとカメラのはちょっと全員映っ ちゃうのであれですけどもえ暫定にえ高弘 武田 さん高武田さんあちらですはい最後のとこ でインタビューしようかなと思います そして最後え男3位えぞさんでいいんです かえぞさんはい学生さんですね起業してる とかそう学生で起業すごすごいですねはい ていうことの3人ですけどもえここのえ 作成問題を解くのはえ午前と同じまず初代 大王鶴さんですお願いしますえ2人目がえ クイズの神様矢野平さん ですそして え今回ですねえ特殊さがすでに問題に目を 通してしまってるというところですので もう1方えお呼びしたいと思い ますクイズ制作会社セブンワンダーズ及び クイズの総合者キュービック代表取締り役 として東大様タイムなどのクイズ番組の 問題政策から企業の研修向けクイズまで 幅広くクイズをビジネスにしてきたこの方 クイズビジネスのパイオニア中野 [拍手] 高はいというわけでえまちょっとこれから はですねちょっとさっきと違ってまだまだ あのえっと一般的なあの作問者が作る問題 には到達してないかもしれないけども とりあえずAIに問題を作てみたというの が今回のあの趣旨になりますさあこれから AIが作る問題について崎さんじゃ一言 ずつちょっと意気込み言いたいですがいや そうですねあのやっぱ人間もそのめっちゃ 面白いクイズを作る人とめっちゃつまん ないクイズを作るです よどれくらいなのかなっていうのをね ちょっと今日あの見させていただきたいと 思いますよろしくお願いしますお願いし ますさあ続いて矢野さん矢野さんクイズ 作家でもあるというとこですけどもいか でしょうそういやなんかこうクイズってね なんかはてなつければ作れそうで意外に そうじゃないっていうなんか人間ぽさ みたいなとこも実はあったりするんでそう いうのをこうAIがどういう風に作ってる

のかすごくあの楽しみですはいありいます そして中野さんもまクイズビジネスの パイオニアとちょっと表現させていただき ましたけどはいえっとAIの問題に初めて 答える人類になるのが までまあのめっちゃ面白いクイズ作るのは 得意かなと思ってるんですけどえっとどう いう問題をあのぶつけてくるのかっていう のがすごい非常に楽しみで今日やって まいりましたよろしくお願ありがとう ございますえっとちょっと1点だけですね えっと今もうなんか午前に比べてすごい 視聴数がYouTube同地中継増えてる んですけどもえま感想とかありましたら ハッシュタグ#AIをえ小文字ですねあ 半角のAIにえっと王様の王のハッグ# AIで是非あのTwitterで感想書い ていただけるとありがたいですはい ちょっとコメントしてる人数もすごい増え ましたね午前に比べましてはいあの見てる 方本当にありがとうござご覧になってる方 本当ありがとうございますではこちらの ルールを説明していきますえ各AO システムに20問の問題を作っていただい てますけどそのうち10問ずつを取材し ますまず最初にシステムAの出題に対して いろんな人が答えますと10問やりおれ ましたと次がシステムBの問題を10問 やり終わりますはいま矢野3答え中野さ答 で次はえシステムCの問題を文しますと はいでこれに対しましてえっとまえっと これで終わるということになりますけども もうもう1個ありますあまだですねはいで えっと正解したらえっと皆さんに1 ポイントえ5等はその問題の回答権しま さっきと似てる感じですけどもまちょっと ギギに押さなくても今回はいいと思います ただにあのビのてですで最も点が高かった クイズはすごいということですごいです はいすいすごいはいますごいのはま ちょっとこれは負けなところがありまして 次のページお願いしますこちらですね えっとAIをえ最もイベントが盛り上がる 問題これちょっと定義が非常に難しいん ですけどもそれは皆さんの中であのこの イベントを盛り上げるにあたっていい問題 作ってたなとか雑学のある問題作ってたな いろんな反転があると思いますけどもその 人なりにえっと1番良かった問題をえこの 審査員の皆さんに1つ選んでいただきます 例えばこれですねこれ例ですあくまで例 ですけども鶴崎さんがAえ矢野さんがBえ さがBとなった場合ですね事前審査のこの 特殊さんが700点満点でつけたあの点数 があるんですけどもこれに加算されますで

この合計点で競うということになりますと いうことでですねあのちょっと事前に発表 されてますけども最大31点差かな上位 から下までなんで結構これが偏ったらあの 最後に結果に影響するというとこでま イメージしたのはまあのM1グランプリと かああいうのの最終決戦であの震災が1個 上げるというようなのをイメージさせて いただいておりますこれでえ問題作成部門 の優勝者が決まりますえどれを選ぶかです ねこのセットが終わった後ちょっと僕に こっそり言いに来ていただくという形に なっておりますはい次のページお願いし ますえっとここちょっとね答える上では ネタバレも入ってるんですけども各 システムがテーマにとって作成した20問 からまいくつかですね嘘問がやっぱり割合 で出てしまうということでそれを全部聞か せるよも考えたんですけどもちょっと時間 の関係で特殊者さんの評価が良かった上位 10問だけを今日ははそれぞれ選ぶという ことになりますその10問の主題自体は ランダムですなおテーマはえ自己委の特殊 さが選びました以下のえっと原人問が 2024年まちょっとさっき午前新しい 学校のリーダーズが難しかったってずっと 皆さんおっしゃってましたけどもま新しい 言葉からえ古い言葉まで一般的な言葉まで いろんなものがこれを入力にしてクイズを 作ってもらうとあのこれが個体になる クイズを作る場合もあるしえっとこれが 問題文に入ってる答えを作る場合もあると いうことであのまこれテーマに沿ってるか どうかっていうのすでにあの特殊さが評価 してますのでそこはちょっと評価基準に あんまり入れなくても大丈夫ですあの最終 的にこのイベントが盛り上がったかと総合 的にどれがていうのを3つの1つ選んで いただくとあともう1つ大事なことがある んですがえっとこのシステム名ですねどれ が誰が作ったかに関してはシークレット とちますあの元々はですね鶴崎さんが 知り合いが参加した時にあの分かるとやだ なっていうことをコメントされてま非常に 当たり前の発想ですけどもなのでえっと どれを誰が作ったかは最後まであかにし ませんで順番なんですけどもえっと予選の 上位から何番目に発表したいですかていう のを事前に聞いてますあのこれもま いわゆるテレビのM1グランプリのお真似 ですけどもあの例えば1番の人が2番で 発表しますたら1番のシステムは2番目に なってますそれはま先が有利だったり後が 有利だったりすると思いますんでこの形式 を発表した上で順番を選んでいただいたと

いうことになりますのでまあの順番関係 なく選んでいただいてもいいかなと思い ますちなみにメモしたかったらメモしたり しても目も用意してないかなま大丈夫です かね考える感覚でやるんであれば大丈夫 です何か質問ございます かではですはいはいじゃあシステムAの第 1問はいではえ問読みなんですけどもえ こちらですねえ自己委員を務めております えAを自己委特殊さ乗り安が問読みをして ますよろしくお願いしますよろしくお願い し ますこの辺の音は広れもう全部拾れてます はいはいはいえっとよろしくお願いします えさっきえご説明申し上げたようにえ システムごとにま住文住文十文で読まれる ということになりましてえさっきテーマが あったのようことから分かるようにつまり 同じテーマに沿ってえそれぞれのシステム が問題を出してますんでえまなんか2たな 問題が出てきたりとかですねえしたりする と思いますなのでそのクイズの勝負的には えなんていうかちょっと変な技にな普通の クイズ大会ではちょっとありえないような え状態かなと思いますけれどもまえっとえ まそれも込みで順番を決めていただいてる ということですんでえま切りせして いただければというような感じですかね あとえこれも先ほど説明がありましたがえ えっと事前の採点で点数が高かった住文を それぞれシステム的にピックアップして 持ってきてるということになりますがえ これもなんとかですねその事前にえ構築し た評価基準に沿ってえ点数を入れたという 風になりますのでえ僕がなんとなくいい順 につけた問題ではないというえことをもえ 踏まえいたくとまいいのか別にまでも あんまり気にせず答えていただいて大丈夫 だと思いますはい自の評はどっちかって いうと嘘のない問題を出してることがより 重視される傾向だのではい雑学自体よりも ちゃんと成立してる問題の方が点数が高く なる傾向がありますはいでまそのまま原文 そのままであの趣旨上を読みますのでえ 少し日本語がに和感があるとかっていう ことがあってもそのまま読むのでそのまま そういうもんだと思っていただけるといい と思いますはいはいでは行きましょうか はいではシステムAから行きますシステム A第1問お願いしますはいえ参ります 問題スマートフォンを枕元についたのは 鶴崎さんポケモン スリープスマートフォンを枕本にえ置いて 寝ることで睡眠データを計測しゲームが 済むアプリは何でしょうポケモンスリープ

まいろんな突っ込みあると思いますけども あのそうですねあのいもいも突っ込んで しまうと評価が変わってしまう我々かつま ない方でましょずにうんではいじゃあ システムA第2問お願いしますはいまり ます 問題平安時代中期に成立し若795種が 読み込まれた長編物語は何でしょう [笑い] む正解はこれは現物語中に若いっぱい出 そうですね後で調べたちゃんと79でした ねこれははいじゃ次の問題お願いします 問題1948年に設立された国際連合の 専門期間で本部がスイス ジュネWho正解ですですね はい本がスイスジ部にあるのは何でしょう WhoですはいシステムAの問題次の問題 お願いします 問題中国戦勝発症で唐辛子と空豆を田さん 登板者さんは今日1日を続いて食べ物問題 取りますねうんえ次第え原料とにした発行 調味料は何という問題で登板者ですでは次 の問題お願いします問題宝トミーから発売 されたペットボトルキャップを発ついたの 通崎 さんキャップ革命ボトルマン見事です はいペットボトルキャップを発射する ガングの名前は何でしょうとボトルマンま あの正式名称を答えていただいた感じです ねでは行きましょう次の問お願いします 問題1956年に中山グランプリとして 創設さついた野さん山有記念正解ですはい え56人中山ブランク絶されああえより安 でしたねあの提案でファンの投票による走 バ選出が特徴のG1競争は有馬記念です はいお題有馬記念でしたはいさあでは次の 問題お願いします 問題スパイファミリーはスパイ殺しア超 能力者が家族を演じる作品ですが連載開始 されたのはどのプラットフォームでしょう 着いたのは鶴崎さんジャンププラス 少年ジャンププラスってやですねはいえ そうですねなんか前がちょっと収束があっ た上でね答えを出すという感じの問題でし たさあ勝負は皆さん忘れてますけど崎さん がえい1歩えい方向に1歩近づいており ますでは次の問題お願いします問題岩手県 出身でMLBのさ大 翔平えM30に所属し手活躍す2流の選手 は大谷翔平ですはいちゃんと最新の事事を 取り入れた問題になってる感じがしますね はいお題は大谷翔平でした次の問題お願い します問題Amazon川は世界最大の 流量を誇りますが世界で2番目 は

ええ織の 小川一応最初からお願いします Amazon川は世界最大の流量を誇り ますが世界で2番目に大きな流域面積を 持つ川は何 でしょうはどこ だ 内川あ 違う違う正解お願いします 側はい今後側ですねはい結構難しい問題を 出してきてますお題はアゾンはアン側だね さ次がえっとこのえシステムA最後の問題 になりますでは次の問題お願いします問題 対象デモクラシ域の代表的論客で現代国家 批判日本ファシズム批判を表したのは誰 でしょう正解はえ長谷川ニ館で川川ニ館 聞いはいというわけでここまでがシステム Aでしたはいさあちょっと全部聞いてから 感想を伺いましょうかねはいではえ次は システムBの問題になります同じような 問題出るかもしれませんけどもこれはもう 独立に皆さん使ってますでではシステムB の第1問お願いします 問題日本最初の長編小説とされる現物語の 作者ついたのは中野さん紫 [音楽] 部作る文学に出た平安時代の女流貴族は誰 でしょう かはいでは次の問題お願いします 問題アゾン側が流れている対立は田のつ さん南アメリカ [音楽] 大陸がれてる陸は何でしょうか南アメリカ 体育さ鶴崎さんがこれで一応1番偉い状況 になってます次の問題お願いします問題 バッハの自選場のアリアはどの楽器のツタ の中野さんバより正解ですね はいたに作曲された曲でしょうか実戦上 バイオリンの源の実戦を使うというあれ ですねでは次の問題お願いします問題年の 対象デモクラシー時代における文化の発展 を象徴する洋化した新しい女性の胃ついた のつさん僕がお おおえ今モガとお答えいただきました モダンガール略してモガなのでどちらも 正解ですねはいさ通崎さん走ってます次の 問題をお願いします 問題辛みと旨味が特徴的な登板ジは坊 坊鶴さん 線 料理最初からお願いしますはい辛みと旨味 が特徴的な登板ジはマボ豆腐などの料理で よく使われますが主にどの国の 料理中国 クルで使用される調味料でしょうかという

ことで中国と中華料理じゃなくて中国です どこの国ですかはいでは次の問題お願いし ます問題ヨハネスブルグが位置する国は 太郎山さんヨハネスえ南アフリカ評は正解 ですささんがきましたはいで次の問題お 願いします 問題現在連載中の人気漫画スパイ ファミリーの作者はつたのつさん藤さん 正解 ですらしい正解だと思いますではい行き ましょう次が8問目ですねシステムBの8 問目お願いします問題日常生活でよく 見かけるペットボトルの 原料ついたのは中野 さんポリエ チレえっとなんだっけ えごめん なさい ポリ一連テレフタラート正解ですがはいえ あの科学式がこれで表される一般的には ペットと呼ばれるものはポリエデン テレフタラート ですさあさっより盛り上がってない気もし ますがもうちょっと淡々といきましょう はいシステムB大問です 問題2024年に開催される柿 オリンピックついたのは鶴崎さん パリはいお題が2024年というお題で 出してきた問題ですね開催地はどこ でしょうパリーです鶴崎さんかなりダブル スコアまで伸ばしてます次の問題お願いし ます問題有馬記念は日本中央競馬界が主催 するG1レースでなんという競馬ツトえ山 さん中山競馬場はいはいさっき中山 グランプリをして今度中山競馬場答えたと いうことではいということでこれで システムBの問題が終わりということに なりますさああのね見てる人の中では つまんない普通の問題だなと思うかもしれ ないですけどここまで間違いのない問題を ね揃えるのは結構なかなか大変ではあるん ですよねAIがでは次の問題えっと システムCですねCの問題10問行ってみ ましょう次の問題お願いします問題ごめん なさいえっと失礼しました読みます 問題中国師匠義子和人殿に記されたついた のは鶴崎 さんうんひこあすいませ山大えこれはお題 がひこですねえさ山大国の女王でえまワの 国の女王と称された人物はひこですでは次 の問題お願いします 問題平安時代の典型的な王朝物語でヒカル 二の 現地物語はいです現地物語がどの問題も あのえつられてる感じになりましたねはい

じゃ次の問題お願いします 問題2023年夏にリリースされた睡眠を テーマについたのはずっっときたポケモン スリーブ はいですねポケモンスリープ応募ですねで はいでは次の問題お願いします題 アメリカとメキシコを横断し2024年4 月8日に起こる天文現象は何でしょうつい たのは鶴崎さん日食見事ですねはい題 2024年でえと4月4日に起るのは会日 だそうですはいじゃ次の問題お願いします 問題今年の想を一次で 表すついたの鶴崎 さん今年の 感じ題が今年の感じで今年の感じえの風物 して京都の清水で発表されるのは今年の 感じですねはいでは次の問題お願いします 6問 目 問題日本人初のMLB二流 選手さん谷 翔やはりアメリカリーグで2021年Mに 谷翔平ですじゃ次の問題お願いします問題 世界最大の流域面積はいついたのすさん Amazon側はい うんはどこの線でしょうかAmazon側 ですでは次の問題お願いします問題グリム 堂はカエルの王様にちんでなついたの中野 さんるかるか現ですねはいえれたがと嫌悪 感を持つ現象ちょっと最新の言葉ですね 変るか現象では次の問題お願いします問題 紀元前から存在しイラン文化の象徴とさ れる壁飾り用としても価値がある美術工芸 品は何でしょうか えペルシャ絨毯正解ですペルシャ絨毯ねお 題がペルシャ絨毯ですああそうなんですラ 文化の知され壁方術攻撃費はペルシ絨毯 ですいよいよ最後の問題ですですねはいで は次の問題お願いします問題中国視線賞 発生で唐辛子 と登板 者ということでまちょっとねこれなかなか 審査側としてもあのどういう出し方をする か非常に迷ったんですけどもひとまずこう いう形でやらさせてもらいましたという わけでABBCそれぞれの問題ができまし たじゃ審査員の皆さんに一言ずつちょっと あの全体のまだ結果は言わなくで全体の 印象聞いていきましょう崎さんいかがです かい結構なんかその問題として成立して いるのが結構あの半分以上はあったかなと 思っててうんなんかあのそのまま即大会に 大会とクイズ大会とかに使えそうてほどで はないんですけどまもうちょっとあのもう 1歩進歩したら結構なんかいけそうな気が

してくるなんか希望の持てるいい感じの 問題だったと思いますありがとうござい ます鶴崎さんはねあの問題作るところの AIちょっとかじったりもされたと思うん ですけどもそっから思うとどうですかね いや結構進歩してましてかそのやっぱ問題 になってない問題がまず出るんですよね そのやろうとするとそのこれまずはてなで 終わってないけどみたいなその質問して ないよ君みたいなのがを考えるとあの すごいもうあのクイズとして成り立ってる そう思いますねはいクイズとして成立 ところまでまず来たというところかなと 思います矢野さんいかがでしょうかいや なんか改めていわゆる早押しクイズま クイズの問題文ってすごく短いんだけど 複雑なことを無意識に僕らはしてたんだ なっていうのが改めて思いましたねなんか えじゃあペルシャ絨毯ってこういうもの ですこういうものですのところにはてなを つけたらクイズになると言ったらそうでも なくて前振りとかちゃんとつけてるしはい やっぱなんか改めて気づきましたねそれを ちゃんとAIが頑張って作ろうとしてる ところがちょっとこう愛らしくもありはい 素晴らしかったと思いますはいはい中野 さんはいあの僕らが普通に問題作る時って まダ出すのかどういうステーションで出す のかどういう媒体であるのか難易度はどれ ぐらいかとかまそういった複雑な要素を 加味しながらま作るわけなんですけれども ただまあのお題を与えられて野面でえっと 作れって言われるとあのまこういう形の 問題になるのかなっていう風にのがあの まず正直な印象ですでまその文脈の中で そのストレートでパンと問題が出てくる ものもあればこういろんなこうえっとなん 分岐点を作ってま作っていったりする ところがあるんですけどまだそこの部分に 関してはまだ教えないとちょっとできない ところもあるのかなっていうのもあるので そう複合的な要素を絡みながらこれから どうやって発展していくのかなってのが すごいちょっと楽しみでもあり僕らとして はちょっと恐怖かなっていうのもあのは ありました正直言うとまちょっとここまで あちゃんと作れるんだなっていうのがはい 今日はちょっとびっくりしたところです はいえっと今回ちょっとあの審査員でも 審査員あの実行委員会側でも結構ですね こう議論して今回はまず普通の問題普通に 成立してる問題をまず点数を高くしようと うん成立しないとまずクイズとして成立し ないからというやっぱそこにちょっとやや 注力した部分があってちょっと平坦な問題

も多かったかなとは思うんですけども実 以降あるとしたらもうちょっとその雑学的 にとかそのシチュエーションにとかそう いったところをちょっとうまく取り入れた 審査基準になるとまた一歩進んだものに なる可能性あるかなという風に思っており ますじゃあ3人の皆さん本当にありがとう ございましたあ忘れてた1番偉いのは鶴崎 さんですはい はいすいすごいAIに対応AIの早クイズ 初代ということですごいでしたねすごい でしたすいあのAIにも答えてほしいです よねAIの問題AIにこれを答えさせもう 何やってるかわかんなくAIが問題を作っ てAIが答え出すともう一体我々は何をし てる めはいというわけでえっと時間的にはあ ちょっと早いですけどまこれで終わり あ30.いやそれはあの後で後でえっと じゃあえっと休み時間のうちにシステムは あそうだシステムが大事なこと忘れてまし たじゃあえっとちょっと結果はまだどれだ かってことは内緒な上でえっと3チームの 方にちょっと一言ずつ伺っていきたいと 思いますじゃまずちょっとあの対戦のあの Aを出していきます か対戦の絵あのAIと戦っているような そうですA です ねはいはいじゃあまず暫定1の山レクス さんちょっとここちらそうです危なかった ですはいまどれだどの問題だったかは ちょっと最後のところで発表されるんです けども はいはいはいじゃあ改めてちょっとあの 自己紹介をお願いしますあどうもアド クエステクノの山本と申しますそうですね あの非常に今回この企画楽しみにしていて で私あまりクイズ自体を自分で解いたこと はあまりないので一体どこで解けるん だろうなっていうのを思いながら結構あの 今回の企画楽しみにしてましたやっぱり 自分が思ってもないところで解くので結構 問題複雑にしないといけないのかなと思っ たりとかまどういう結構このあのなん だろうクイズ作る上でどういう風なクイズ が面白いんだろうなっていうのをやっぱり すごい気にしていてそこの採点基準とかを 中心にま問題と問題とか作問させて いただいてるんですけもやっぱりそれをま ちょっとこの後というかまどっかで詳しく お聞きできればなと思ったりはしてるん ですけどどういうクイズが面白いのかとか はいまそういった点でも非常にあの私学び のあるところであったかなと思っており

ますそうですね午前の発表ではねクイズの 評価をどうするかのところが一番難しいと いうそこはもう多分我々も今後議論し なきゃいけないかなとあのこれが発展して いく上では面白さとかその場にあった クイズとかそういったところが重要になっ てくと思いますありがとうございます ありがとうございますきまして男にえ武田 さん はいはいじゃあ自己紹介お願いしますはい えパナソニックソリューション テクノロジーの武田と申しますはい ちょっとそうですね問題の中身の話は ちょっとできないんでま生Iの話としまし てま8iもあのま最近あのGPTって言 まで今までまだ赤ちゃんレベルだったのが GPTによって一気にまあの一言言っと なんかコパイロットまだちょっと パイロット貴重にはまだなりきれてないん ですけどもまコパイロットとしてあの人間 をサポートできるような立ち位置までは 行けたかなと思ってま今日問題見て いただいたと まだとしは100%まだあのクイズさが 作られるようなティまではけてないんです けどもま今もうどんどん成長してってるの でま1年後2年後には同レベルのところ まで持っていけるんじゃないかなっていう 風には思っておりましてま非常にあの私も 開発者としてま自分自身もそうですね 楽しみにしておりますはい今日もちょっと あの自分が作った問題をクイズの方々に 解いていただいてすごい感動しております はいまこの場をあの今回こういった場を 持ちてありがとうございましたありがとう ございます のえぞさんですねはい唯一学生さんですか ねはいあ こんにちはと明治大学理工学部情報科の3 年生の和田ですえっとそうですね自分が 作ったクイズをクイズ王の方が解くって いうのはすごいなんか元カノがテレビ出 てるみたいですごい恥ずかしかっ たそうですねすごいでも嬉しかったです 結構なんかコペを振り返ってみてやっぱり ちょっとそのWikipediaのデータ セットを更新してなかった部分で多分取れ てないとこが点数的には結構あるなと思っ ていてまそこがちょっと心残りというか やっとけばなっていうまそれぐらいですか ねあとはすごい楽しかったですはいあの ちょっとねあの最新のにしないと厳しいか なと私も思ったんで直前にウクフティ 新しい方がいいですよということは一応 アナウンスさせていただいたんですけど

すいませんちょっともっと早く行ってとく ばよかったかなていうわけでもはい ありがとうございまし たということでいよいよ審査となります はいあのまちょっとね審査難しいかもしれ ませんけどもまこういう理由で選んだも 含めて後でちょっと説明していただこうか なと思っておりますのでじゃあちょっと 早いですけど次何分かにしますかね440 分から45分40分じゃあ40分開始にし ますのでそれまで休憩ということになり ますちょっとお3人来ていただいてえっと ちっちゃい家でどれが 良かっ ます はいえっとでは時間となりましたので えっとここからはえっと今回aioと えっと2つの部門早し回答部門とえっと 問題作成部門の2部門でやってまいりまし たがそれそれらのえっと結果発表をさせて いただきたいと思いますえと進行ついます のは実行員の鈴木増とええ市川孝です よろしくお願い願よろしくお願いし ますはいではまず早回答部門のえっと結果 発表から参りたいと思います林回答部門は えっとリーダーボードでのえっと評価とま それを踏まえて最終評最終評価ということ でえっと2段階で行っておりますが リーダーボードの結果は既に出ております 通りえっとまオープニングでもえっと紹介 入りましたがえっと合計8チームが一応 参加されていまして えとまご覧のような結果と言ってちょっと 小さく見にくいかもしれないですけど ボード1位のチームはicslさんの チームですで2位のチームえっとNUシダ さん今回発表いただきましたシダさんの チームでしたでえっと今8のとこに星が ついてるえっと両0123さはえっと途中 までサインにつけていたんですけれども ちょっと今日来られないということで えっと0点の経過をえっと結果を提出され たということだったんですけれどもえっと 途中まで3位でえっとご検討されていまし たはいでえっとこれらのうちえっと1位の のicslさんのチームとえっと両012 さんのチームが今回最終評価の提出があっ たチームということになりましてえっとま 先ほどえっと大変盛り上がった エキシビションでえっとえAI側として出 た2つのチームモルえっとAIシステムと いう風になっておりますでえっとこの2つ の中からあとちょっとベースラインの結果 も参考として載せますが最終評価最終評価 のえ結果をお見せしますいきなり行きます

ドンというわけでえっと優勝はえっと こちら600万点中434点ちょっと獲得 されたicスラボさんですおめでとう ござい ますはいえっとまアキレシスコア ポジションスコアえっと正解率のスコアと 早押しのスコアの合計点で競ってるんです がアラシスコアが300点中285点 すなわち正解率95%という驚異的な えっと数値を叩き出しましてえっと ぶっちぎりの優勝ということになりましえ おめでとうござい ますはいコメント今いただきますかねそう ですせっかくだからあではicslさんお 願いしますあのicslラボさんです ねはいあシステム2の金本ですえっと実は 我々あの今回AI4回目なんですけど我々 のも今回目ということであのいつもいつも こう悔しい思いをしてきたので今回優勝 できて本当に良かったなと思ってますあの 前回も専門中7問差のすごい僅差でえっと 負けてしまったんですねではいていうのが あっますあと1回目でこうAIを実は20 択後ちょっと出かもしれない20択の選択 問題だったんですけどま本当に人と対戦 できるぐらいまできてま我々も進歩してき たしあのやっぱりこう一緒に戦ってきた達 とそのいろんな結果が組み合わさってこう 今来てるのでまそういった結果もすごく えっとなんでしょうねこの分野を成長でき て引っ張ってこれたかなと思ってますあと やっぱりこうこの運営されてしていただい た鈴木先生も鈴木さんもあの はいもすごくあの感謝してますしやっぱり こう日本語のこういったあのデータセット とかコンペティションてなかなかないので まそういった場を提供いただいたとこも すごく嬉しく思っておりますはい ありがとうございますありがとうござい ます はいえっと以上があすいませんこれ出すん これ出せば良かったですねすいませんサボ さんがえっと優勝ということでえ早押し 回答部門の結果は以上です続いて問題作成 部門のえと結果発表に移りたいと思います 市川お願いしますはい問題作成部門は市川 からえっと司会をさせていただきます次の くさいえっと改めてルールですえ最も イベントが盛り上がる問題をえAIをあ 作ったAIをえ審査院の方に選んで いただくということになりまして1人に つき30点がプラスになるということに なっておりますあのちょっと一言を聞き たいなと思ってるのはあのこれどんな基準 で決めましたか結構難しかったと思うん

ですけどもそこだけちょっと先に審査員の 方に聞いていこうかなと思います鶴崎さん どんな基準で考えましたかはいえっと僕の 場合はまえっとまイベントが盛り上がる かってことなんですけどまずそのえっと 人間人間が作った問題を審査せたことが あるんですけどまそれに混ぜた時にどれ くらいの位置に行くかなっていうえま感じ でえっと判定しましたで1番最終的に聞い たのはそのもクイズの問題文って前から 始まるんでその前のヒントはやや難しく 広いスコープからだんだんこう小さい スコープ答えに近づいていくというこの 流れが最もあのよくできていると思った チームににチームでか思ったAIに入れ させていただきましたはいありがとう ございますじゃあ矢野さんお願いします はいえっと僕はえっと何て言えばいいん だろう優しさですかねそのま問題をその得 側の聞く人にいかに分かりやすくうんうん 伝わってるかっていうかはいそのえ言葉の チョイスだったりとかそこのこう優しさを 感じるAIを選びましたはいテレビ制作さ れている矢野さんらしいですはい中野さん はあの基本的には鶴崎さんがおっしゃられ たことと同じなんですけれどもま自分が 作った時にえっと近い感覚の問題を選び ましたあの優しさという意味ではあの人間 が作ってる感じがするものを選んだつもり ですはいありがとうござございます福者 さん全問題見てどうでしたかそうですね はいあのとてもあの午前中から含めてです ねあのいろんなあのアプローチがあるなと というような感じで単に問題を作るという ことでもこういろんな考え方があるなと 思いましたしあの普段クイズされてない方 も多く参加していただいてて多分そちらの 方がむしろメジャーというかですねだと 思うんですけれどもあのそういう方々が どうやるとこうえいい問題いい問題っての はま一応こういう風に評価しますというは 示したわけですけどいい問題として評価さ れそうかということを考えて例えばそのえ 言葉に就職をつけてみるとかそいろんな 工夫をこつけて問題を良くするという アプローチをえ伺うことができかつえっと それそれの発想に基づいて出力されたもの がこれだったんだということが今日 答え合わせできてですねあのとてもえ 面白くあの聞き聞いておりましたえなん だっけあとなんかもうちょっと言おうと 思ったんですけどえ忘れましたちょっと ますあのそうですね今回あの審査基準を 作ったのがえっと基本的にあの700的 満点ですね特さんになるんですけどもま

この記事を作ること自体も結構骨のいる 作業でですねあのだそれを作るという意味 でも今回の問題の共同作業者というところ も言えるかかもしれないなというそうです ねまでもそういう意味ではあのやっぱり ちゃんと問題と答えの構造を取っていると いうかえクイズとしてちゃんと例えば さっき読んだようにここで読んで林をして 少し多少あの人間が作るよりは変なところ があったとしてもちゃんとこうゲームとし て成立するようなえところを満たしている 問題がとても多くてえそういうものが えっとえそ思ったよりよくできていたと ことですね一言で言うとあの皆さんに提出 いただいたものがとてもよくできていて あのこうこんなによくできてるんだったら このよくできた中で差がつくようなあの 配転っていうのをもうちょっと考えても いいなとかもしあの次回があればえそう いうようなことであの審査基準自体も アップデートできたらなという風にえ思い ましたはいはいありがとうございますと いうことでま次回の話はあるんですが とりあえずまずじゃあ発表の方行き ましょうかはい次お願いしますまず本戦の 結果今まで明らかにしておりませんでした え本戦の結果ですえあこれは明らかにして ましたねすいませんえこの555点ヤレ さんええ540点えぞさんえあれ間違って ますね違う 違う お本当山レックさんが2回山レックスさん が1位ですね2回書いて31位と3位が あの名前が同じになっちゃっこれ僕は 間違えてますね失礼しましたそうですすい ません失礼ましたえぞさんが3位でしたか ねはいそうですね524点がぞさんです すいませんこれ間違ってますけどもあの えっとこれはあのシグネットさんのホーム ページの方では正しいのが入ってますので えっとちょっとあのなかったことにして次 行きましょうはいで実はどれが誰が作って たかというのが今明らかになりましたAの システムを作ったのが高弘武田さんBの システムを作ったのが偉いぞさんCの システムを作ったからヤレさんということ で特殊者さんの評価であのま評価っていう のは特殊さんが感覚で選んだものではなく 事前に決めたえ点数基準ですねそれで1番 高かったのはヤマレクスさんということで 今んところ最大31点差がついてるという ことで結果次第で逆転もあると たまたまたまたまなんですよこれあの なんか何点ぐらいの差になるか考えて30 点ずつ割り振ったわけじゃなくてあの採点

して30点で決めてたらたまたまこうなっ たっていうだけですはいでは行きましょう 第4回AI問題作成部門最終審査の結果 まず鶴崎 さん高弘武田 こんな矢野 さん えいぞさん最後中野 さん高武田さんということで合計点は 600点の高弘武田さん逆転優勝 ですはいこれあのなかなか難しいところも あってあの実際のこの感覚のとこで30点 入ってしまうのもあれなんですけど最後 セットにしてクイズが面白かったかという ところをちょっと重視させていただいて このような形になりましたけどもまどの システムもあのしっかりクイズとして成立 してるところまであのやってきたというの はこの1年間のあの技術の発展かなと思い ますじゃあちょっと3チームそれぞれ出て きてくださいまず3位になりましたこれ 一定さですねえいぞさんちょっと来て いただけるでしょうか はいはいというわけで3位ということです がいかがでしたでしょうかあすごい嬉しい ですあとなんか優しさが足りてたんだって いう ねどういうとこが優しさに繋がったと思い ますかねあそうですねちょっとそこまでは またちょっと分析できてないんですけど また次回あるとすればちょっと優しさ武器 に優しさ武器あの発表後前伺っていると あのブキラボな問題にちょっとあの前振り というかあの就職手をつけるというところ 結構やられたっていうことを伺ったんです けども個人的にはそれが優しさに繋がった のかななるほどありがとうございますはい あのそうすると面白くなるという仮説のも そうやられたんですけどもそれが矢野さん につった矢野さんどうでした優しさいや僕 あのあれなんですよそのええっと今のAと Cはどっちもよくわかんない問題があった んですよ例えばそのこれは自分は知識が なければなんですけどでAのブロックに あった有馬記念の問題は競馬の問題だって ことが一言も明言されてなかったりするん ですよだCは巨大河川とかなんかね知らん 日本語が使われたんですけどBは一切それ がなかっ あその現在連載中の人気漫画とかちゃんと つけてくれたんですよなので誰が聞いても あの子供がロしれまで楽しめるクイズはB だったんじゃないかなと思って僕はBにし ましたはい多分そこは工夫が繋がったのか と思いますはい3位も素晴らしい結果思い

ますありがとうござい ます続きまして第2位1点差で2位です山 レクスさんこちらお願いします徳さんの 評価はまあ非常に受けたんですけど残念 ながら審査員に1人も入れていただけ なかったとあのまちょっと水物だったかも しれませんけもはいあのご感想お願いし ますそうですねなかなかあの採点してこう 面白い結果だなと私自身は思っていてです ねま非常2でも嬉しいんですけどはい なかなかあのやっぱり自分が作った時に 1番評価として点数が入ったのはやっぱり その問題が正解してるかとかは結構重視し て入ったかなとはやっぱりアルゴリズム書 は思っていてまそれがちょっと最審査の時 に割とそこは心配だったんですけど実は やっぱりそこが当たったなって感じは正直 しますねはいまちょっと前振りとあなん でしけま後の構造とかはあると思うんです けどそこはちょっとやっぱりAIには入れ てやってはみたんですけどやっぱそこの 工夫が足りなかったのかなとかっていう やっぱクイズ全体の構造っていうのがま 私自身が読めなかったことまそこが取り られなかったのがやっぱりちょっと届か なかったところなのかなという風に ちょっと私思ってますはいはい自己委員の 中でもですねあの前からだんだんヒントが 絞られてくて条件を加えるかどうか非常に 迷ってとりあえずまずは加えない形で今回 やろうという形したんですけどもちょっと そこがね数字としてメキされていればそう ですねここまであのあのこの点数からも 分かるようにちゃんとこの点数が伸びる ようなアプローチを捉えたということでま あのこの本線の1位というのも素晴らしい 結果だと思います本当にありがとうござい ましたごましたありがとうござい ましそして優勝は高弘武田さんと はい唯一本名が思いっきり言われてしまっ ているちょっとそう最初こんな大体的と 思わなくて登録名なんでま本名でいいやと 思ってたらなんかそのまま使われちゃって 自分だけなんかすごい浮いちゃってるん ですけどもあ武田ですえっとそうですね あのま今回あのクイズの生成システム作る にあたってま1番取り組んだのが プロンプトの部分でまそこにも半分以上の 時間を使ってましてまあの最初はすぐあの エンタメ性を重視してま面白い問題を 頑張って作ろうと思ってそういった プロンプトを与えてたんですけどもそう なるとあのクイズとして成り立たない問題 なんか的に面白そうなんですけども前振り とアフリで全然違うくてちぐはぐな問題で

も全然事実関係も一致してなくてあこれ じゃダメだなと思ってまちょっと初心に 戻ってまクイズとはま前振りで条件 絞り込んであの後半の部分でま体を限定 するっていうなちょっとあの鶴崎さん おっしゃったんですけどもプロンプトに まさにその通りあの前振りの部分ではあの 答えを絞り込めるような面白い情報をたの が非常に良かったと思いますただあのま そうですねあの矢野さんおっしゃったよう に優しさの部分に関してはまプロンプトの ところでちょっと問題の難易度を大人でも 大人が解けるような問題にしてくださいっ ていう風に与えてたのでまちょっと若干 難度的には高いまあ今回あのクイズオの 方々に解いてもらうのでまある程度難しい 方がいいかなと思ってそこはあえてあのな んだろう高校生でも分かるようにとか大学 生に分かるようにとかちょっと難度を 抑えるようなことはあえてしなくて ちょっと難しめにしたのでちょっと優しさ は若干かけてたのかなという風にまそこが ちょっとそうですねプラス30点もらえ なかったとこかなと思川ニ館でしたっけは そうですよね 館何も得ない人はね答えることあるんです けどそうですねはいあの若のところもそう ですけどまそのワシあの数で答えられる人 は答えられるかなと思ってあえて難しめの 問題になったかなと思ってまそこはあの 狙い通りなのではいまそこはままそれで 良かったかなと思ってますはいあの ちょっと我々もちょっとこの先生AIで クイズ作ること試すんですけどおっしゃる 通りですね面白い問題と正しい問題 トレードオフ関係があって面白くしようと するとですね嘘を言んですよねそうなです よだからなんか当行ったり来たりで めちゃくちゃ事実に基づいてるけど めちゃくちゃつまんねえみたいな問題 ばっかり出る時もあればま破天な問題出て その間にま今回たどり着けたかなって思っ ておりますそうですねで我々もあの少し ずつ皆さんと協力しながらもっと評価軸を うまくやることによってもこれ2つ軸が ありますよね面白さの軸と正しいて軸ここ ら辺がちゃんとできるようなあのデータ セットを揃えてくっていうのもま我々の 締めなのかなという風に思っております 本当におめでとうございましたはい ありがとうござありがとうござい はいというわけでえっと発表はこれで以上 ですかねそうですね結果発表は以上になり ますはいじゃああとはあまも最後感想聞き たいですねはいじゃ2部門通しての最後の

感想をじゃあゲストの皆さん一言ずつお 願いします崎さんあ2部門どうしてのま はいまあまあでもまどっちを中心に行って も構ない早しえっとなんかこう現状のこの クイズクイズの世界でにこれを持ち込んだ 時どうなるかってことをずっと考えてたん ですけどえっとまず早押し部門にについて はもうあの1位1位と言ってもほぼ過言で はない多分徳さん徳さんって区会でほぼ1 位か2位かまそんな感じの実力を持ってる わけですけどまそれと戦いてる時点でまあ あの5本の指に入ることはま確定でしょう というえレベルであろうかなと思いますで えっと問題作成部門についてはえっとこれ はもうまだまだあの改善の余地があると 思うんですけど僕の感想としてはえっと 高校1年生の7月これこれくらいまで来 てるなと思中学1年生の7月じゃはないん です高校1年生の7月まで来てるんです 高校で始めクイズ始めた人が3ヶ月練習 すると多分これくらいになるあの変な問題 も作るんですよそのその辺りって変な問題 も作るけどちょっと面白さが分かってき てるこれがその夏休みを超えたら多分 めちゃくちゃ成長 すこれをねあのすごく楽しみにしようと 思ってますい今日はありがとうございまし たはいもう今日の皆さん夏休みの宿題を もらいましたね崎さんからはいじゃあ矢野 さんお願いしますはいいやもう答える方の AIもあのすごかったですしで問題生成も ねここまで作れるんだって驚きましたしで ここのこのまこう鍛えられたAIがまその クイズま言うてもクイズって狭い世界だと 思うんでそっからな何に展開していくの かっていうとこまですごく楽しみになり ましたはいあのこれからもあの成長を 見守りたいと思いますねはい楽しかった ですありがとうござさんのご指摘は面白く てですねやっぱ職人が食いで作れるのは 間違いもいいんですけども大量に作れる ようになった時今までとは違う道が結構 開ける可能性がねそれがどういうところで いく社会に生かされてくとかねすごく 楽しみですねはいありごいますはい本当に 今日お忙しいありがとうございまし たさんお願いしますはいえありがとう ございましたあの答える側の視点としては あの例えばそのヘッドアップだとかあの枝 つきのなんでフラスコでしたっけああいう ちょっと定義の曖昧な問題に対してって いうのはやっぱり反応できないんだなって いうのがよくわかりましたまその中にこう 人間が作る問題の面白さみたいなのが隠れ てたりするんですけれどそれを理解し出す

ようになるとちょっとあの作り手としても あのちょっと脅威を感じるようになるかな ていう風に思ってます今まちょっとあの 脅威と期待が半分半分みたいなところが ありますねで作り手としてはあのやっぱり あの最後選んだのが構造的に1番綺麗だっ た問題を選びました難度で言うとあのそう ではなかったんですけれども問題としては 成立してるっていう部分とあの作りの美し さというところでえっと綺麗だったのでえ 選んだのがまあ1位になって良かったかな という風には個人的に思いましたどうも ありがとうございますありがとうござい ましたそしてえま審査委員長というかえ やりましたさん最後お願いしますはいあの 皆さんお疲れ様でしたありがとうござい ましたあのえ私はその実行委員会のあの メンバーでもありますのであのこのように たくさんご参加いただきましてあの大変え 嬉しく思っておりますえありがとうござい ましたあの先ほども申しましたけれども あの普段クイズをされていないえ方がま 参加者の方には多くてまそういう方が え問題作成部門で言うとだからどういう 問題が面白いと思ってもらえそうかという ことについてあの考えかつそれを実装して いただけた話を聞けたのがま1番個人的に はええ興味深いというかですね面白い ところでえかつまえっとここまでできて いるというのもえ大変学びがありましたえ そのクイズってあの誰に出すかによって やっぱりあの中野さんもあのご指摘に なさってましたけども誰に出すかとかどこ で出すかによってあの全然こう求められる 問題が違ったりするので優しい問題があの 欲しい時もあれば別に優しい問題求めて られないない時みたいなのもあったりと かっていうのもあってま今回はかなりこう ざっくりした件であのえこう競って いただいたところがあってそれをま組み とっていただいたりしたというような感じ かなと思ってましてまそのためにこう最後 あのイベントが盛り上がるというですね ちょっと特殊なあのパラメーターをえ設定 することでえそのこのイベントが 盛り上がるということを目指して作って 欲しいということをま示してみたりだとか ま色々えやってみたんですがあのそれも あの大変とてもよく組みとっていただけて あの嬉しかったなとえ思っております えそうですでもまあの人間基本的には やっぱクイズは人間が楽しむためにあると 思ってますのであのAIが作ってくれる 問題とですねあの一緒に答えてくくれる AIがいるとよりクイズが楽しくなるかな

とえ思いましてあのこれからまだまだ 楽しめそうだなということでえ個人的には とてもえ今後も楽しみにしてますえ ありがとうございましたありございました というわけでえこれにて結果発表終わりと ことクロジこのまま行きますかそうですね 休みはンクロージングはいすいませんでは このままちょっとクロージングにはいえ じゃあえっと新の皆さんはここまでです ありがとうございました席の戻り くださいこのまま鈴木先生あジングは すはいじゃ最後クロージングのえAIを 発起人の鈴木正敏さんからクロージングの ご挨拶という感じになります鈴木さんにお 渡せしますはいありがとうございます えっとそれではえっとまちょっと紹介 いただきましたえっとAI実行員でこの えっとAIというプロジェクトのえっと 補記人であります鈴木増からえっと最後に えっとご挨拶というかクロージングの言葉 としてえっと示させていただければと思い ますえっとまずはえっと今回の コンピレーション皆さんご参加いただき ありがとうございましたえっとま今回は えっとまコンペティションまずシグネート さんのプラットフォームで実施させて いただきましてまたこの今日の最終会を 現地会場で初めて開催してまた豪華な ゲストを招いてエキシビションを実施し たりそしてまYouTube配信真似し たりと初めてのご尽くしでございましてま 私たち実行委員もかなりドキドキしながら 今日の報告会の本番を迎えましたが無事 えっと閉幕を迎えることができて大変 嬉しく思っており ますはいこのAI王のプロジェクト 2020年にスタートしたものでえっと 自然言語処理のま研究を大研究のまええ コンペティションとしてやってるわけです けれどもこの4年間の自然言語商品の発展 の発展とま補聴を合わせながら過去3回の コンペティションを実施してきたところで ありますま第1回とししてはまいきなりな 何でしょう空でクイズを特のは難しい だろうということでまそういう想定のも えっと20択の択一問題というえっと問題 設定でコンペティションを開催したんです がいきなりえっと1位のシステムが92% の正解率叩き出してもうこれ2回2回目 以降やれないなと思ったのでま第2回から はえっと選択肢なしのまいわゆるペーパー テストのようなえっと形式早押しではない 筆記の問題のような形式で コンペティションを行ってまいりましたま 前回の第3回ではやはりこちらはもうすぐ

に正解率は9割上回ってしまう2チームが 上回ってしまうような状態になりましたの でえっとまたもう題で変えなきゃいけない というような形でまそれだけ自然言語書類 のえっと技術が発展してきてるというえ ことに他ならないと思うんでですけれども ま今回第4回ということでま早押しま疑似 的なものでありますけれども早押しのえ 回答部門としてえっと新たな問題設定で コンプレッションを行いましたはいでどれ くらいのパフォーマンスが出せたのかと いうと先ほどのエキシビションで見て いただいた通りでかなりすごい えっとプロフェッショナルえっとクイズ プレイヤーとちゃんとせれるような えっとパフォーマンスをしたと思うんです けれどもこれでま早押しAIが実現したか と言えるかと言えるかと言うと多分まだ ノーだと思います多分まだノーだと思い ますまというのま今回のエキシビションま 何度か説明させていただいております通り まAIは3回まで間違えられるというま ハデマッチとして行っておりましたえはい でま今回のその問題設定そのものも実際の 早しクイズの多のえっと要素を車掌して いるまないものとして考えている設定に なっておりましてま例えば今回300問 12時間かけて解くみたいなルールでやっ たんですけども現実の早し1問2分待って たらえっと全然試合にならないのでま現実 的なえっと時間での回答ってのは今回は えっと考えないことになってましたでまた 音声認識ですねえっと実際に何でしょう AI人間とAIが戦うみたいなことだここ までできることが多分期待されると思うん ですけどいきなりそれは難しいのでま今回 は1文字ずつのえっと文字を文字の入力と いうことでえっとAIに情報を与えると いう設定でのえコンペティションでしたで ここからがまあ1番早しクイズは大醐味 みたいなところかかなのかもしれないです がま実際の早しクイズだと例えば相手が何 ポイントリードしてるから自分はもう ちょっと えっと攻めたタイミングで押みたいなそう いう選挙を踏まえた駆け引きというのが 存在すると思うんですがま今回はえっと ひたすらその入力される問題に対して答え を出すという相手が存在しない戦いとして えっと問題設定この問題設定で コンペティションをやりましたのでまその ような駆け引きは存在しないということに なっていますまとはえまこのような多くの 要素を捨てたようなえっと疑似早押しの えっとコンペティションだったわけです

けれどもま限られた情報から正解を導い てるというのは確かなのでまこれができ てるというのはかなりすごいことだと思い ますまこれもどんどんなんでしょうね ルールを良くしていったらえっとさらに 面白いものができるんじゃないかなと思い ますはいでえっと今回もう1つ新たな部門 として問題作成部門というのをえっと始め ましたえっとまもちろんこれはこの44 年間の間での1番大きなブレクスである チャットGPTのような生成モデルの出現 を背景にえっと開催したものですでえっと ま一川さん他皆さんおっしゃっています 通りま嘘がなくて面白いクイズの問題を 作るというのはま人間であってもなかなか 簡単なことではあります それでこそまそれができる プロフェッショナルのクイズ作家の皆さん というのはかなり貴重な存在だと思うん ですけれどもまその一方でその一部でもま AIができるようになるとするとまこの クイズを作るという営みがより身近なもの になってまいろんな分野で応用ができるん じゃないかということがありますまそれを え背景にこの問題作成部門のえっと新たな コンペティションを開催したということに なりますはいえっとま今回の コンプレッションこのそもそもこの生成 AIの出すものを評価するというような 取り組みが他にまほとんど例がないような 中での実験的な開催だったわけですけれど もまこの生成されたクイズをクイズ作家と いうプロフェッションの皆さんに審査して いただくというま唯一に無理の コンペティションにできたと思いますま その中でまこの生成AIというまいゆ ハルシネーションと言われるような問題 実用上の問題もあったりしてま今回実際に そのコンペでもえっとそのような課題が 立ちはかったものかと思いますがまこの 生成モデルの活用のま現在の到達点のま1 つの例に過ぎないんですけもまその1つを 示すことができた有意義なえ コンペティションになったのではないかな と思い ますはいまあAIをAI王と当たり前の ように言ってますかAIをとは何なのかと いうのを改めて今ちょっとここで考えて みるんですけどもまこれまでAIとクイズ を融合させた模様と催しとしてこれまで 実施て実施してま実施してきてえっと来 ましたAI王ですけれどもまもしかすると 皆さんの中にはえっとAIっていうのは なんかよく分からない技術だなあとで クイズというのもま面白いけどちょっと

よくわからないとこから遊びだなとでAI でクイズをするAI王ってのはなんかよく 分からない技術を使ってよくわからない 遊びをするなんとかよく分からない イベントだなと思われる方ももしかすると いらっしゃるかもしれませんけれどもま しかしこのAIとクイズというのはどちら もまよく分からないとこがあるものである かこそのま魅力があってまそれそれぞれ それぞれまそれ多くの研究者だったりまた はクイズのプレイヤーだったりを 引きつけるそういうようなものだと思って おりますま各いう私はその両方にうっかり えっと惹かれてしまいましたのでこのよう なコンペティションを始めたということに なりますでえっとまこのAIというものは このクイズという題材を通してま自然言語 処理技術の今のあアリオをえっと デモンストレーションできる場所として 開催してきてえっと参りましたこのaio のきっかけに自然言語処理またはまクイズ とクイズ一般そのものについてまこれって 面白いなどういう風にえっと作られている んだろうどういう風にえー実現できてるん だろうということについて興味関心を持っ てくれる方が少しでも増えてくださると 私たちのえっと望みは叶ったことという ことになり ますはいえっとま次回についてなんです けれども何も決まっておりませんまこの4 年間の中でその自然言語種類の注目度と いうのは飛躍的に高まりましてえっと技術 を取り巻く状況というのも日々日々まま 本当に激動の時代と言いますか変わって いるところでございますまそのような中で 次回をどうするかというのはここで決める ことはかなり難しいんですけれどもま えっとこのクイズAIの取り組みというの はこれからも続けていきたいですしこう いうデモンストレーションの場もまどう いう形でやれば1番いいのかはこれから また考えることになりますけれどもま えっと続けいきたいと思っておりますま もし今回のコンピレーションねご感想やご 要望などえっとございましたらアンケート にてご回答いただけますと幸いでござい ますはいというわけで最後になりました けれどもえっと今回のコンプレッションの 参箇所の皆様そしてこの今日の最終報告会 の参加書の皆様そしてエキシビションの 審査イを務めえっと務められました追崎様 矢野様中野様徳様クイズ問題提供にご協力 いただいたえっと株式会社キュービック様 そして今日の運営にえご協力いただいた皆 様えっと今回のコンペティション無事に

開催できたのはえっと皆様1人1人のご 協力があってこそのことです本当に心より 感謝を申し上げますまたいつかのAでお 会いいたしましょう本日は最後までご参加 くださりありがとうございまし [拍手] た はいですねプラットフォーム新さんそう ですねはいありがとうございます宣伝の とこにたくさん出てましたはいんの プラットフォームでもコンしまして いろんな方にさられましたありがとう ございますじゃあ終わりですかでは終わり ですねはいえっと配信ご覧の皆さん阪神 ご覧の皆さんもありがとうございました えっと割と長い時間でのえっと半信となり ましたがえっと皆さん盛り上がって いただきまして手を振って見てみますかあ こっちですねあのカメラのれしことが だいぶバてしまいましたありがとうござい ました はいでは配信は 以上