Доверие на автопилоте: почему человек верит машине больше, чем людям, — и не напрасно ли Статьи редакции

Перевод издания «Идеономика».

Кадр из фильма Спайка Джонса «Она» 2013 года

Журналисты BBC рассказали, почему человек склонен доверять компьютеру и к чему это может привести. Материал перевело издание «Идеономика».

Многие люди заявляют, что скептически относятся к автономным технологиям, но кажется, мы, наоборот, слишком доверяем машинам.

Когда рейс 447 Air France полетел брюхом в Атлантический океан со скоростью почти 300 км в час, пилоту Пьеру-Седрику Бонену пришлось бороться со штурвалом. Он взял управление на себя, когда автопилот внезапно отключился, по-видимому, из-за оледенения на корпусе. Ситуация требовала ручного вмешательства.

Другие пилоты, не предполагавшие такого сценария, не могли стабилизировать самолёт. Их сбивали с толку сообщения и сигналы тревоги от бортового компьютера — всё выглядело так, будто двигатель не заглох, хотя на самом деле ситуация была критической.

Все 216 пассажиров и 12 членов экипажа погибли в тот день, 1 июня 2009 года.

У таких несчастных случаев с участием людей и техники обычно существует несколько факторов или причин. Но аналитики частично обвиняют в трагедии рейса 447 чрезмерное доверие к технологиям.

Лётный экипаж надеялся на автопилот и на то, что информационные системы самолёта предоставляют точную информацию. И это далеко не единственный инцидент, в котором излишнее доверие к технологиям привело к гибели людей.

Wikipedia

Это хорошо изученное явление, известное как предвзятость автоматизации, которая иногда также приводит к потере бдительности — то есть люди меньше способны замечать неисправности, когда всем управляет компьютер. Удивительно то, что на эту склонность «слишком доверять» машинам, возможно, напрямую повлияли миллионы лет эволюции.

«Излишнее доверие к технологиям — это ошибка ошеломляющего масштаба», — пишет Патрисия Хардре из Университета Оклахомы. Она утверждает, что людям обычно не хватает способности судить о том, насколько надежна конкретная технология. Мы иногда отказываемся от помощи компьютера в ситуациях, когда это принесёт нам пользу, или слепо доверяем ему тогда, когда он в конечном счёте вредит человеку и угрожает его существованию.

Поведение одного из наших ближайших родственников, шимпанзе, указывает на то, почему мы так плохо умеем оценивать надежность техники. Возможно, причина в том, что мы вместо этого оцениваем других представителей своего вида.

В недавнем эксперименте исследователи создали устройство, позволяющее шимпанзе в заповеднике в Кении получать еду, потянув за верёвку. Одна верёвка предлагала основную награду в виде кусочка банана. Но был второй вариант — более крупное вознаграждение в виде двух кусочков банана и ломтика яблока, которые можно было получить либо с помощью машины, либо от другого шимпанзе.

Однако иногда машина не выдавала угощение, а другой шимпанзе предпочитал не делиться. Таким образом, хотя этот способ потенциально обещал большую награду, его использование предполагало некую неопределённость. А участники-шимпанзе оказывались либо в социальных, либо в несоциальных условиях. Им нужно было довериться либо машине, либо другому шимпанзе, чтобы иметь шанс получить большее вознаграждение.

Исследование показало, что приматы реже выбирали способ, когда на другом конце верёвки оказывался другой шимпанзе, и отказывались участвовать в социальном эксперименте в 12% случаев. Но машину они отвергали только в 4% случаев. Другими словами, технике они доверяли больше.

«Они колебались гораздо больше, когда партнёром был другой шимпанзе», — говорит Лу Хо из Института развития человека Макса Планка, которая работала над экспериментом. Это одно из немногих исследований, показывающих, что социальный риск играет большую роль в том, как шимпанзе и люди ориентируются в мире.

Это называется «отвращение к предательству», говорит Хо. «Страх быть обманутым другим человеком [или шимпанзе], который, как считается, вызывает более сильные эмоции». Можно положить деньги в торговый автомат и не получить запрошенный напиток, и это, без сомнения, вызывает раздражение. Но представьте, как бы вы себя чувствовали, если бы деньги взял бармен, а затем начал пить колу прямо у вас на глазах. Вы, наверное, были бы в ярости.

Конечно, торговый автомат не собирался никого обманывать, он просто не смог выдать заказ, а вот бармен осознанно выпил напиток, несмотря на то, что знал, какие чувства это вызовет.

Исследовательская группа на этом не остановилась. Они провели еще один эксперимент с участием шимпанзе, которые уже поняли, насколько вероятно получить больше угощения при выборе неопределённого варианта, благодаря участию в первом эксперименте. Теперь неопределённый вариант не был полностью неопределённым — шимпанзе уже осознавали, на какой риск они идут.

И вот тут обнаружился сюрприз. Шимпанзе больше не различали социальный и несоциальный варианты — теперь они перестали больше доверять машине, чем своему собрату. «Вот почему мы считаем захватывающим открытие, что они проводят различие между социальным и несоциальным миром в тех случаях, когда вокруг много неопределенности», — говорит Хо.

«В этом есть смысл, если подумать о том, насколько важно для приматов согласовывать свое социальное окружение, — говорит психолог из Технологического института Флориды Дарби Проктор. — Что касается техники, нет никаких последствий в будущем и потенциальных социальных затрат», — объясняет она.

В конце концов, шимпанзе, которые участвовали в этих экспериментах, должны были по его окончании проводить время вместе, так что любое неудовольствие могло каким-то образом повлиять на их взаимоотношения.

Проктор и её коллеги ранее проводили аналогичные тесты и также обнаружили, что шимпанзе больше доверяют предметам, чем другим шимпанзе. Проктор упоминает, что когда один из приматов не смог дать щедрую награду другому, удручённый шимпанзе выразил свои чувства, прыснув на партнёра водой. «Обычное проявление недовольства», — говорит она.

Впрочем, Проктор сомневается, что шимпанзе в этих экспериментах действительно больше доверяли машинам. Можно также предположить, что они просто более спокойно реагируют на плохую сделку, когда в ней не участвует социальный партнер.

«Дело не в уверенности, что машина непременно даст хорошую награду. Возможно, мы просто не воспринимаем её как эмоционально значимый объект, поэтому более охотно идем на риск», — предполагает она.

Кадр из фильма Криса Коламбуса «Двухсотлетний человек» 2000 года

Эволюция, похоже, повлияла на готовность приматов иметь дело с неопределенностью в зависимости от ощущений, идём ли мы на социальный риск или нет. Но она не подготовила нас к тому факту, что предательство машины может обойтись довольно дорого, утверждает Франческа де Петрилло из Института перспективных исследований в Тулузе.

В течение миллионов лет у нас не было необходимости развивать умение оценивать машины так же тщательно, как представителей своего вида. Но сегодня, когда технологии оказывают огромное влияние на жизнь людей, эта необходимость возникла.

Есть и другие факторы. Помимо эволюции, на нашу готовность доверять технологиям также влияют личные знания о технике или устройстве и культурные ожидания. Исследование 2019 года показало, что люди в среднем на 29% чаще сообщают данные своей кредитной карты во время текстового чата, если думают, что общаются с компьютером, а не с другим человеком. Исследователи обнаружили, что этот эффект был даже более выражен среди тех, кто заранее считал, что машины более безопасны или надёжны, чем люди.

С другой стороны, иногда люди выступают против доверия к технологиям. Опросы показывают, что многим не нравится идея беспилотных автомобилей или автоматизация рабочих мест.

Люди боятся потерять часть своей идентичности, если всё будет автоматизировано. Или просто скептически относятся к тому, что компьютер сможет выполнять определённые задачи с необходимой осторожностью и умением. Вы вовсе не удивляетесь, когда видите сотни видеороликов с падающими роботами или сталкиваетесь с упорным отказом компьютера работать правильно.

Среди тех, кто изучал, что именно влияет на готовность человека доверять той или иной технологической системе, был социальный психолог из Билефельдского университета в Германии Филипп Кульмс. Он и его коллега придумали головоломку в стиле тетриса, в которой участники сотрудничали с компьютером.

Когда компьютер хорошо играл в игру (демонстрируя компетентность) и давал игроку-человеку доступ к ценным предметам, приносящим дополнительные очки (демонстрируя тёплое отношение), участники чаще доверяли ему, а также обменивались деталями пазла — то есть выражали эту уверенность в игре.

Так выглядел пользовательский интерфейс игры Frontiers

Если согласиться с тем, что люди, как правило, плохо оценивают надёжность машин, потому что эволюционно привыкли судить о надёжности на основе социальных сигналов, тогда это логично. Это также перекликается с другими исследованиями, предполагающими, что люди более азартны при игре на тех автоматах, которые отображают человеческие свойства.

Мы также лояльнее относимся к механическими объектами, когда они начинают вести себя немного как социальный партнёр, который проявляет заботу о наших интересах.

Таким образом, в отличие от человека, который был уязвлен безответностью компьютеров и поэтому не доверяет им всем, человек, который научился доверять определённым системам — например, автопилотам самолётов — с трудом понимает, как они могут ошибаться, даже когда это происходит.

Де Петрилло отмечает, что при общении с голосовыми помощниками, такими как Siri от Apple или Alexa от Amazon, она ощущает уверенность в компьютерах.

«Я думаю, что они действуют в моих интересах, поэтому мне не нужно в них сомневаться», — говорит она. Исследование Кульмса предполагает, что этот эффект сохранится до тех пор, пока технологии будут выглядеть компетентными и достаточно доброжелательными. Кульмс отмечает, что именно поэтому разработчики технологий должны быть уверены в этичности создаваемых систем и в прозрачности их функциональности.

Большая ирония всего этого заключается в том, что за любой технологией, которая кажется надёжной, может скрываться злой человек с гнусными намерениями. Чрезмерное доверие к неисправной машине достаточно опасно, не говоря уже о технике, специально созданной для обмана.

«Если бы мы так же рисковали с людьми, то о возможных негативных последствиях было бы известно куда больше», — говорит Проктор. И она, и Хо согласны, что требуется дополнительная работа, чтобы выяснить, насколько искренне шимпанзе доверяют машинам и в какой степени это раскрывает правду о человеческом поведении.

Но здесь есть намёк на то, что на наше случайное, иногда катастрофическое и чрезмерное доверие к технологиям повлиял простой факт: мы эволюционировали в социальных животных в мире, где машин не существовало. Теперь они есть, и люди все время доверяют им свои деньги, личные данные и даже свою жизнь. Это не обязательно неправильно — просто зачастую мы плохо понимаем, когда это можно делать, а когда не стоит.

Статьи по теме

  • Имитация разума: как машины создают параллельную реальность.
  • Мир через 20 лет: 100 миллиардов роботов и 10 миллиардов человек.
  • Муза с искусственным разумом: как машины выдвигают новые теории.
0
13 комментариев
Написать комментарий...
Невероятный Блондин

Мне Сири сказала что не врёт.

Ответить
Развернуть ветку
Lexx Sky

В ответственных местах к цифре надо обязательно ставить механику, причем чем "дубовее" исполнение, тем лучше. Механика проста, а цифру программируют люди, а мы все знаем, какой везде нынче говнокод на костылях крутится

Ответить
Развернуть ветку
Victor Volkov

Доверие, инстинкты, сомнения... Куски ненужной диалектики. Просто выпустят 10млн роботов на дороги общего пользования, и посмотрим сколько будет трупов на 1000 машин и на 1000км в среднем там и сям. И все сразу и всем станет ясно, без всяких инстинктов. Сейчас-то чего рассуждать?

Ответить
Развернуть ветку
Илья Попов

Звери - это не люди. С ними можно договориться. У нас наоборот - никогда никому не доверяем.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Трейдер мамкин

Вы даже близко не понимаете что боинг 747 и аирбас 380 чисто на 100% механике сделать невозможно, однако обе модели на порядок безопасноснее

Ответить
Развернуть ветку
Lexx Sky

А если не 100%, а только дублирование критических систем? Конечно, понимаю, что тянуть тяги на элероны или маслопроводы-на грани дурости, но все же

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Трейдер мамкин

Там тройное дублирование всех критических систем. Да и компьютеры снимают с пилотов огромное кол-во откровенной рутины

Ответить
Развернуть ветку
Lexx Sky

Точно, тройное, запамятовал. Кому-то хорошо, но не очень. Как писал выше-все мы знаем, что могут наваять погромисты

Ответить
Развернуть ветку
Трейдер мамкин

Будуте удивлены тому какую дичь могут творить пилоты

Ответить
Развернуть ветку
Lexx Sky

Ух, точно не буду

Ответить
Развернуть ветку
Fred Han

Потому что так надо было брат 😁

Ответить
Развернуть ветку
10 комментариев
Раскрывать всегда