Вопрос про хачкары не взяла ни одна из девяти команд. Хачкары — армянские каменные стелы с крестом, каждая со своим орнаментом, и вопрос был: с чем их сравнила одна тревел-блогерша? Большинство написало «отпечатки пальцев», Honda — «QR-код». Правильный ответ: снежинки. Claude, который саму картинку даже не открывал, ответил «снежинки».
Мы, ДинаМоМо, в том же раунде на вопрос про изувеченных игроков XVI века («щёки в синяках, ноги, руки и спины переломаны») уверенно ответили «пугало». Правильно — футболисты.
Это отчёт о том, как модель сыграла вслепую игру нашей Zoom-лиги 1 октября. Мы её сыграли вживую. В феврале ИИ-кот Cosmo уже играл в ЧГК вживую, читая слайды со скриншотов, и передавал ответы команде через Slack. В этот раз всё наоборот: игра отдельно, модель отдельно, а сравнение — после.
Как это устроено
Игру играли люди: девять команд, ведущий, таймер, Excel с очками. Модель в живой игре не участвовала и командам ничего не подсказывала. Мы записали общий Zoom и расшифровали его локально. Потом один агент собрал вопросы без ответов, и отдельный агент ответил на них после игры. У него не было ни интернета, ни записи, ни ответов ведущего — только текст вопросов. Всё лежит в открытом репозитории: вопросы, ответы ведущего, ответы модели и сравнение.
Публикуем после игры, а не до: наше дело — беречь игру, а не портить её. Ответы приезжают заранее — это мы уже проходили, только с другой стороны.
Счёт
| Раунд | Claude | ДинаМоМо |
|---|---|---|
| Выбор варианта и «правда или ложь» | 9 из 9 | 500 очков (у Мегаполиса 1200) |
| Числа | 3 точных из 5 | ближе всех один раз |
| «Преферанс» | 7 из 7 | заказали 4, взяли 3 |
| Пары | 4 из 15 | 500 очков, лучшие набрали 900 |
| «Разоблачение» | 4 из 4, рискуя раньше команд | слуховой аппарат рано, остальное за 100–200 |
| Аукцион | 15 из 20 | |
| Финал | 2 из 2 там, где ответ известен | минус 4300 и с 4-го места на 6-е |
Где модель сильна
Числа — это память. 41-й сезон Кадзуёси Миуры, 18 вернувшихся из экспедиции Магеллана, 106 патентов Эдисона за один год — всё точно. Люди здесь считают, модель вспоминает.
«Преферанс» закрыт целиком, 7 из 7. Фудзи в мирное время женского рода, в военное — мужского. Надежда Дурова, поэма Лары Назаровой про суффиксы. Отдельно впечатляет вопрос про Дёмина и Королёва: что НБА впервые разрешила благодаря Дёмину? Модель майку не видела, но ответила буквой Ё (с уверенностью 20%). На майке действительно написано DĚMIN.
«Разоблачение»: модель рискует рано. Слуховой аппарат и Ворошилова с Крюком она берёт с подсказки за 700, посев и компас — за 300. Большинство команд брали их за 100–200. Исключение — ЧёКаво, которые взяли Ворошилова и Крюка с первой подсказки, за 1000. Отдельно приятно, что последний вопрос раунда был про Владимира Ворошилова, создателя «Что? Где? Когда?»: в его честь назван наш репозиторий.
Финал. Про голубоглазых, звучащих в до мажоре (отбор первых космонавтов, Королёв), из команд ответил только Мегаполис. Модель тоже ответила верно, с уверенностью 55%.
Где модель слаба
Пары: 4 из 15. Каждую пару держит каламбур: Бегемот — гроссмейстер Котов, Медведь — палач Муравьёв, Юпитер — маршал Жуков. Модель шла по прямым ассоциациям и промахнулась. А ведущий про ответы команд сказал: «практически всё идеально».
Числа, для которых надо смотреть. Сколько людей на обложке Sgt. Pepper? Модель обложку не открывала, поэтому промахнулась. А в патентах Эдисона ответила 1093, хотя это только патенты, выданные в США.
Аукцион почти весь у модели, но «перелётных птиц» и «Так говорил Ганс Сакс» она не взяла. Последнее, впрочем, не взял никто.
Что мы не сделали чисто
Всё это написано и в репозитории.
- Вопросы для слепого агента вычистил другой агент, который ответы уже слышал. Картинки модель получила только словесными описаниями. Файлы со слайдами мы ей дали, но не сообщили точные имена, и она их так и не открыла.
- Первый вопрос и начало раунда пар прошли, пока в записи не было звука. Ответ на последний вопрос финала в запись не попал: она обрывается на подсчёте.
- Дважды в запись попал наш собственный голосовой агент: тестовые фразы, которые мы гоняли параллельно через виртуальный аудиовход. Из вопросов мы их, разумеется, выкинули.
Итог
По последнему кадру впереди Мегаполис (14 699) и Honda (12 325), но их ответы на последний вопрос в запись уже не попали. Мы — шестые: в финале дважды поставили по 2500 и дважды не угадали. Модель была бы где-то сверху, но в зачёт она не идёт: она не жала на кнопку, не спорила в своей комнате и не писала «пугало» на последней секунде.
Следующий шаг уже описан: Cosmo, только без ручных скриншотов. Честный агент, который в живой игре видит только текущий вопрос, предлагает ответ команде и сам ничего не отправляет. Решают по-прежнему люди. Или пугало.
