Литература × искусственный интеллект
Создать разум.
А потом?
«Франкенштейн», ответственность создателей ИИ и вулкан, который оказался частью истории романа.
Разбирая литературную аналогию с помощью ИИ, я вышел на неожиданную историю: индонезийский вулкан, холодное лето в Европе и компания писателей у Женевского озера.
01 / С чего начался вопрос
Кто отвечает за созданное?
Представьте: ваш автомобиль полностью ведёт ИИ. Вы лишь задаёте маршрут. Машина попадает в аварию. Кто отвечает: вы как владелец, производитель автомобиля или разработчик ИИ? У этого современного вопроса есть литературный родственник — роман, опубликованный более двухсот лет назад.
Виктор Франкенштейн создаёт разумное существо, но, испугавшись его, бросает на произвол судьбы. Он убегает от ожившего создания и не помогает ему освоиться в мире. Существу приходится самостоятельно учиться жить среди людей.[1]
Здесь и начинается аналогия с ИИ. Научить систему разговаривать, писать код или вести автомобиль — одна задача. Решить, кто будет проверять её работу, исправлять ошибки и отвечать перед пострадавшими, — следующая.
Я разбирал эту параллель с помощью ИИ — и наткнулся на неожиданную предысторию. Она начинается с извержения вулкана в Индонезии. Чтобы добраться от него до лаборатории Франкенштейна, придётся пройти через холодное европейское лето и литературное состязание в гостях у Байрона.
02 / Неожиданная связь
Как вулкан оказался в истории романа
Тамбора → погода в Европе → литературные вечера → замысел книги.
В апреле 1815 года произошло мощнейшее извержение Тамборы на территории современной Индонезии. В атмосферу попало огромное количество вулканических газов, включая диоксид серы. Масштаб выбросов исследователи восстанавливают, в частности, по составу продуктов извержения.[4]
В стратосфере из диоксида серы образуются сульфатные аэрозоли — мельчайшие частицы и капли, рассеивающие солнечный свет. Поверхность получает меньше энергии. Пепел в основном оседает быстрее; для продолжительного охлаждения особенно важны именно аэрозоли.[5]
Европейское лето 1816 года оказалось необычно холодным и влажным. Погодная аномалия сопровождалась неурожаями и нехваткой продовольствия. В исследовании 2019 года климатические модели позволили оценить вклад извержения в вероятность подобных условий.[6]
Четыре шага от извержения до замысла книги. Нажмите, чтобы раскрыть подробности.
Извержение → охлаждение
Плохая погода → вечера в помещении
Холод и непрерывные дожди заставляли компанию часто оставаться в помещении. Вечера за чтением и разговорами стали частью истории, которую Мэри позже рассказала в предисловии к роману.[1]
Чтение → литературное состязание
03 / Лето 1816 года
Мэри была в компании писателей
У Женевского озера собрались Байрон, Перси Шелли, восемнадцатилетняя Мэри и врач и писатель Джон Полидори. Мэри, Перси и Клэр Клермонт жили неподалёку от виллы Диодати и приходили в гости к Байрону и Полидори.[2]
В предисловии 1831 года Мэри рассказывает, как долго искала свой сюжет. В компании обсуждали природу жизни и возможность оживления материи. Затем на границе сна и бодрствования у неё возникло яркое видение: исследователь рядом с созданным существом, которое начинает подавать признаки жизни.[1]
Из этого образа выросла история об учёном, который добился невозможного, а затем испугался собственного успеха. Впереди были месяцы работы над рукописью и превращение страшного рассказа в большой роман.[3]
От извержения до опубликованного воспоминания
Извержение Тамборы
Вулканические выбросы меняют условия в атмосфере.[4]
Компания у Женевского озера
Погодная аномалия, литературные вечера и возникновение первоначального замысла.[2][6]
Работа над романом
Сохранившиеся черновики и беловая рукопись позволяют проследить развитие текста.[3]
Первое издание
«Франкенштейн» выходит анонимно, в трёх томах.[3]
Автор рассказывает о замысле
В новом предисловии появляется знаменитое воспоминание о дождливом лете и видении.[1]
04 / Возвращение к ИИ
Ответственность после успеха
Что происходит после того, как эксперимент удался?
Франкенштейн — фамилия учёного. У его создания собственного имени нет. Существо осваивает язык и чтение, наблюдает за людьми, ищет близости и признания. Отвержение и одиночество становятся частью его пути к мести.[1]
Виктор готов годами работать ради открытия, но оказывается совершенно не готов к отношениям с тем, кого создал. Меня в этой истории цепляет разрыв между масштабом замысла и готовностью заниматься его последствиями.
В разработке ИИ этот разрыв превращается в три вполне практических вопроса.
Успех эксперимента
Виктор сосредоточен на оживлении. Дальнейшая жизнь существа оказывается за пределами его подготовки.
Последствия применения
Какие ошибки возможны? Кого они затронут? В каких условиях систему стоит применять, а какие требуют ограничений?
Брошенное создание
Испугавшись результата, Виктор бросает существо. Последствия его работы продолжают развиваться.
Сопровождение после выпуска
Кто замечает проблемы, исправляет их, рассматривает обращения и может ограничить работу системы?
Чужие жизни
Страдают окружающие, которые не участвовали в эксперименте. История выходит далеко за пределы мастерской.
Люди за пределами проекта
Как оценить последствия для тех, кто сам не выбирал взаимодействовать с системой, но испытывает влияние её решений?
Параллель здесь — в ответственности создателей. Вопрос о сознании и переживаниях современных ИИ требует отдельного разговора.
05 / Уже за пределами романа
Кто отвечает, когда ИИ ошибается?
Машина без водителя и выдуманные судебные решения: кому предъявлять претензии?
Водителя нет. Кто отвечает за аварию?
Представим: вы купили автомобиль, которому разрешено ездить полностью самостоятельно. Вы задаёте маршрут и садитесь в кресло пассажира. Следить за дорогой и перехватывать управление от вас не требуется. Машина сама выбирает скорость, поворачивает и тормозит. Но однажды ошибается и сбивает пешехода.
Кто должен возместить вред? Вы — потому что машина ваша? Производитель, который продал её как безопасную? Разработчик ИИ, принявшего ошибочное решение? Владелец в нашем примере ничего не нарушил: он использовал автомобиль именно так, как предполагалось.
Один из ответов заложен в британском Automated and Electric Vehicles Act 2018. Для застрахованных автоматизированных автомобилей, подпадающих под этот закон, предусмотрена схема: если машина причинила аварию, когда ехала сама, за возмещение вреда отвечает страховщик. Затем он может предъявить требование к другой стороне, ответственной за аварию.[7]
Для владельца имеют значение его собственные действия. Закон отдельно рассматривает аварии из-за запрещённых условиями страховки изменений программы или сознательно пропущенных обновлений, важных для безопасности.[7]
В этой схеме разделены два вопроса: кто возмещает вред пострадавшему и кто в итоге несёт расходы. Для меня здесь и проявляется современная версия проблемы Франкенштейна: чем больше самостоятельности мы даём системе, тем яснее должны быть обязанности тех, кто её создаёт, продаёт и использует.
ChatGPT: кто проверяет документ перед судом?
Нью-Йорк, 2023 год, дело Mata v. Avianca. Адвокаты подали документ со ссылками на судебные решения, выдуманные ChatGPT. Затем продолжали настаивать на их существовании, хотя суд уже потребовал подтверждения. Суд установил недобросовестность их действий и назначил двум адвокатам и юридической фирме общий штраф в 5 000 долларов.[8]
Суд прямо связал ответственность адвокатов с обязанностью проверять достоверность подаваемых материалов. В этой истории проверку должен был обеспечить профессиональный пользователь ИИ — человек, который подписал документ и передал его в суд.[8]
Возвращаясь к Франкенштейну
Работа создателя продолжается после запуска.
Виктор хотел узнать, сможет ли он создать жизнь. Сегодня к вопросу «сможем ли мы?» добавляются другие: кто заметит ошибку, кто остановит опасную работу системы, кто исправит её и кто возместит вред? Это и делает роман двухсотлетней давности таким современным.
06 / Читать дальше
Источники
Роман, архивы, исследования климата, закон об автоматизированных автомобилях и судебное решение.
- Мэри Шелли. «Франкенштейн», издание 1831 года
Полный текст романа и авторское Introduction: дождливое лето, предложение Байрона и видение, из которого вырос замысел.
- Shelley-Godwin Archive. Frankenstein Chronology
Поездка к Женевскому озеру, места проживания, участники компании и хронология работы над книгой.
- Charles E. Robinson. Введение к The Frankenstein Notebooks
Развитие замысла, черновики 1816–1817 годов, беловая рукопись и подготовка первого издания. Обзор рукописей и изданий.
- Self и соавторы, 2004. Исследование выбросов Тамборы
Оценки объёма магмы, летучих веществ и образования стратосферных аэрозолей после извержения 1815 года. Geophysical Research Letters.
- USGS. Volcanoes Can Affect Climate
Механизм воздействия вулканических газов и сульфатных аэрозолей на климат; отличие их продолжительного влияния от быстрого оседания пепла.
- Schurer и соавторы, 2019. Disentangling the causes of the 1816 European year without a summer
Атрибуция европейской погодной аномалии: роль вулканического воздействия и атмосферной циркуляции. Environmental Research Letters. Аннотация в репозитории Эдинбургского университета.
- Automated and Electric Vehicles Act 2018. Официальные пояснения к закону
Британская схема возмещения вреда при автоматизированном вождении: ответственность страховщика (§ 2), изменения ПО и обновления безопасности (§ 4), требования к стороне, ответственной за аварию (§ 5).
- Mata v. Avianca. Решение о санкциях от 22 июня 2023 года
Полный текст судебного решения, опубликованный Justia. Выдуманные ChatGPT судебные решения, обязанность адвокатов проверять документы и общий штраф в 5 000 долларов двум адвокатам и фирме.