0 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Не повод для хвастовства. Эксперты опасаются искусственного интеллекта

Содержание

Не повод для хвастовства. Эксперты опасаются искусственного интеллекта

В конце 2018 года Исследовательский центр Пью опросил экспертов, усилят ли технологии человеческий потенциал? Большинство ответов оказались отрезвляющими и далекими от оптимистичных оценок. Чего боятся люди, хорошо знающие индустрию технологий, рассуждает профессор Открытого университета Джон Нотон.

Пятьдесят лет назад инженер по имени Дуглас Энгельбарт провел в Сан-Франциско живую демонстрацию, которая изменила компьютерную индустрию и, косвенно, весь мир. Несколько сотен гиков в зрительном зале наблюдали, как он использует что-то, называемое «мышкой», и специальную клавиатуру, чтобы управлять документами, и показывает, как люди в разных местах могут вместе работать над общими файлами в интернете.

Это, как сказал присутствовавший на выступлении технический историк Стивен Леви, была «мать всех демонстраций».

«Окна открывались и закрывались, и их содержимое менялось, а аудитория смотрела в утробу киберпространства. Энгельбарт говорил своим спокойным голосом сотрудника Центра управления полетами, и, действительно, перед их глазами проносились последние рубежи».

Это выступление 1968 года вдохновило огромную новую индустрию, основанную на сетевых персональных компьютерах, использующих графические интерфейсы. Другими словами, все то, что мы используем сегодня.

Дуглас Энгельбарт во время демонстрации

Энгельбарт был провидцем, который считал, что наиболее эффективный способ решения проблем — расширить человеческие возможности и разработать способы построения коллективного интеллекта. По его мнению, компьютеры будут «мощным рулевым механизмом для мозга» — инструментом для расширения человеческих возможностей. Эта идея стала основой оптимистической истории технологической индустрии.

За последние несколько лет мечта оказалась немного запятнана. Мы узнали, как информационные вампиры внедряют технологии, чтобы использовать нас, и одновременно предоставляют бесплатные инструменты для нашего предполагаемого «роста». Аргументы «за» варьируются от компании к компании. Электронные таблицы, обработка текстов, автоматизированное проектирование (CAD) и инструменты для планирования, например, безусловно стали благом.

Поисковые системы можно рассматривать как протез для человеческой памяти или оправдание того, что нет необходимости сохранять в голове фактические знания. Но не ясно, какой когнитивный рост – если такой имеется – нам дают Instagram или Facebook. А уж что касается твиттера…

Тем не менее, существует один вид недавних технологических разработок, в пользу которого постоянно приводят аргументы о росте. Это искусственный интеллект (ИИ). Его проповедники неизменно изображают ИИ как технологию, которая действительно может усилить человеческие возможности. В нынешнем проявлении это, как правило, машинное обучение.

Его потенциал роста часто впечатляет. Можно подумать, например, о том, как программное обеспечение может сканировать десятки тысяч снимков сетчатки и отбирать те, на которые необходимо обратить внимание глазному хирургу.

Но в то же время известно много случаев, когда машинное обучение приводило к искаженным результатам и предвзятым прогнозам. Широко распространена обеспокоенность по поводу построения мира вокруг такой мощной и такой несовершенной технологии.

Чтобы попытаться оценить степень риска, Исследовательский центр Пью поставил перед группой экспертов следующий вопрос: «Считаете ли вы, что к 2030 году продвижение систем искусственного интеллекта и связанных с ним технологических систем усилит человеческий потенциал и расширит его возможности?»

Ученые получили откровенные и отрезвляющие ответы. Все респонденты были людьми, которые понимали потенциал технологий, но преобладающее впечатление, которое у них сложилось, вызывает обеспокоенность. Они считают, что широкое использование ИИ приводит к потере человеческой воли, поскольку принятие решений по ключевым аспектам жизни передается «черному ящику», управляемому кодом. Они боятся возможного злоупотребления в системах наблюдения, предназначенных для получения прибыли (так называемых «социальных сетях»), последствия которых уже достаточно очевидны.

Они видят риски существования для многих видов занятости. В то время как некоторые ожидают появления новых видов рабочих мест, другие беспокоятся по поводу массовой безработицы, расширения экономических разногласий, социальных потрясений и популистских восстаний, вызванных этим.

Многие из респондентов осознают и приветствуют потенциал роста ИИ, другие же опасаются, что наша растущая зависимость от технологий подорвет нашу способность думать самостоятельно, действовать независимо или эффективно взаимодействовать с другими.

И некоторые предвидят, что рост способности технологий вмешиваться в демократические процессы (например, с помощью видео с «глубокой фальсификацией») приведет к хаосу.

Первое, что следует сказать об этом исследовании — это не был статистически репрезентативный опрос общественного мнения. Это серьезная попытка выяснить мнение широкого круга хорошо осведомленных мыслителей, многие из которых знакомы с отраслью, ее технологиями и корпорациями. По крайней мере, их размышления отличаются от бешеного хвастовства об «искусственном интеллекте повсюду» в технологической индустрии, которая рассматривает этику как профессиональную терапию для философов на неполной занятости и других «неудачников».

Но в первую очередь это заставило меня задуматься, что бы Дуглас Энгельбарт сделал во время дебатов. «Кто-то однажды назвал меня “просто мечтателем”, — как-то сказал он. — Это оскорбило меня. Быть “просто мечтателем”, настоящим мечтателем — тяжелая работа. Действительно сложно становится, когда начинаешь верить в свои мечты». Особенно когда они превращаются в ночной кошмар.

Читать еще:  Я почувствовала себя свободной от Освенцима

Чем опасно внедрение технологий с искусственным интеллектом

Долги «выбивал робот»

Недавно в Екатеринбурге долги из клиента «выбивал» робот-коллектор (об этом «РГ» писала на прошлой неделе). Причем, мужчина и не догадывался, что больше месяца разговаривал с искусственной интеллектуальной системой, настолько изобретательно были выстроены диалоги. Робот представился руководителем коллекторского агентства, назвав женское имя, фамилию и отчество, и приятным голосом отвечал на все вопросы, задавал уточняющие, и «настоятельно рекомендовал клиенту погасить долги».

При этом общеизвестно, что роботы сегодня могут разговаривать голосом любого из нас.

Почти по Оруэллу

В Китае между тем уже вовсю внедряется система социальных баллов, а проще говоря тотальной слежки за гражданами с помощью искусственного интеллекта. Все, что делает китаец, фиксируется камерами с распознаванием лиц и десятками баз данных. За хорошее поведение начисляют баллы, за плохое — снимают. Принцип системы: люди с высокими результатами будут жить хорошо, а тем, кто уйдет в минус, не поздоровится. Могут запретить занимать определенные должности, не продать билеты на поезд или на самолет. Некоторые эксперты приходят в ужас, когда начинают анализировать, к каким результатам приведет эта умная «оруэлловская» система в будущем.

Искусственный разум направил в пике

При этом известно, что даже малейшие просчеты в проектировании интеллектуальных систем могут приводить к катастрофическим последствиям уже сегодня.

Так, выяснилось, что из-за ошибочных показаний датчика и системы контроля полета самолеты Boeing-737 MAX могут сами неожиданно уходить в пике. Получив неверные вводные об обтекании крыла потоком воздуха, самолеты автоматически опускают нос вниз. Этот факт честно признали в компании после того, как Boeing-737 MAX-8 индонезийской авиакомпании Lion Air потерпел крушение в октябре 2018 года над морем у западного побережья острова Ява. На борту находились 189 человек, все погибли.

В Аризоне беспилотное авто от Uber сбило женщину, переходившую улицу в неположенном месте. В кресле водителя находился пилот-человек, но он не успел остановить машину. Эта авария стала первым смертельным ДТП с участием автомобиля, имеющего третий уровень автономности. Оказалось, лазерные радары машины распознали пешехода за целых 5,6 секунды до аварии. Но алгоритм решил не снижать скорость и начал экстренное торможение только за 0,2 секунды до столкновения.

Как переиграть роботов?

Все эти факты, впрочем, повод не для развития массовой паранойи, а как раз для того, чтобы человечество, насколько это возможно, действовало на опережение, предугадывало возможные опасности, которые могут возникнуть при внедрении технологий с использованием искусственного интеллекта. Об этом сегодня в голос говорят эксперты. Ведь прогресс останавливать глупо. Причем риски не только и даже не столько технологические, сколько юридические, правовые и этические. Последний аспект особенно важен при разработке систем управления беспилотными автомобилями. Какой алгоритм, скажите, нужно заложить разработчикам в гипотетической ситуации, когда на дороге перед машиной неожиданно появляется старушка, а с другой стороны — маленький мальчик? То есть проблема выбора состоит в том, что кто-то неизбежно должен пострадать.

В реальной жизни исход этой конфигурации на дороге зависит от индивидуальных физиологических особенностей водителя, его реакции, — словом, того, как сработает человеческий мозг в этой экстремальной ситуации. И при любом ужасе, она разрешается «естественным» путем, но вот простят ли искусственному интеллекту смерть кого-то из участников движения? И как вообще интеллектуальной системе решить эту заведомо неразрешимую задачу? Заложить в алгоритм действия частотность поведения водителей в таких ситуациях? Пожертвовать старушкой? И кому на откуп дать решение этой задачи, при которой по сути будут вершиться судьбы людей. Отдельно взятому коллективу разработчиков? И как потом быть с юридическими последствиями этой дорожной дилеммы? Вопросов масса.

Несколько дней назад в рамках Гайдаровского форума состоялась очень злободневная и интересная дискуссия «Этические проблемы применения цифровых технологий: как искать решение?». Ее модератор — академический директор Центра подготовки руководителей цифровой трансформации ВШГУ РАНХиГС Мария Шклярук — представила аналитический доклад, подготовленный на основе работ десятков отечественных экспертов в области новых интеллектуальных систем. В нем как раз содержится вдумчивый подход к осмыслению отношения людей и роботов.

Показательно, что эксперты высказывают различные подходы к принципам установления ответственности за действия ИИ. От полного освобождения кого-либо от ответственности, по аналогии с обстоятельствами непреодолимой силы. Ответственности конкретного субъекта — производителя, разработчика, владельца, пользователя и т.д. И вплоть до личной ответственности роботов при условии наделения их правами и обязанностями, статусом электронной личности.

Впрочем, эта тема остается сегодня остро дискуссионной: и ученые, и разработчики, вероятно, не скоро придут к единому решению. Вот лишь несколько показательных мнений.

Валерий Карпов, вице-президент Российской ассоциации искусственного интеллекта, начальник лаборатории робототехники НИЦ «Курчатовский институт»:

— Чаще всего эту ответственность возлагают на «программиста», но он лишь оператор, который закладывает правила поведения, определяемые экспертом, специалистом в некоторой предметной области. В случае этики — неким моральным философом, например. Именно эксперт — моральный философ и несет ответственность за суть поведения системы и то, на чем должна основываться логика принятия решений. Какой «моральный кодекс» будет предоставлен, такой и будет реализован «программистом».

Олег Кузнецов, председатель научного совета Российской ассоциации искусственного интеллекта, профессор ИПУ РАН:

— Третьей стороной, выступающей между философом и разработчиком, является законодатель. Проблема ответственности решается в правовом режиме. Кто-то должен подать иск об ущербе, и иск подается не разработчику. Ведь пользователь не знает, кто разработчик, и не обязан это знать, а предъявляет претензии тому, кто его обслуживает. При этом интеллектуальная система никогда не будет сама ответственна, в случае ошибки всегда будет виноват тот или иной конкретный человек.

Павел Готовцев, координатор российской Рабочей группы по этике искусственного интеллекта, заместитель начальника отдела биотехнологий и биоэнергетики НИЦ «Курчатовский институт»:

— Как и в любой ситуации, нельзя четко провести границу и сказать: «Всегда виноват пользователь или всегда виноват разработчик». Здесь этого не получится по многим причинам, как в любой другой технической системе. Например, при аварии самолета происходит разбирательство, кто виноват ― производитель, авиакомпания, пилот. И здесь нужна такая же граница. В принципе, когда возникает какая-то сложная, технически обусловленная ситуация, естественно, собирают технических специалистов, анализируют, проводят в сертифицированных центрах исследования, анализ. Аналогично должно быть и с системами искусственного интеллекта.

Читать еще:  Четверг Страстной седмицы: Великий, а не «чистый»

Роман Душкин, директор по науке и технологиям Агентства искусственного интеллекта:

— Есть несколько вариантов, кому нести ответственность: разработчику, владельцу, пользователям и самому искусственному интеллекту. Четвертый вариант — радикальный, его я и проповедую. В большинстве стран законодательство устроено так, что, если что-то случилось, человек, который виноват, возмещает ущерб деньгами или попадает в тюрьму. Соответственно, интеллектуальная система тоже может отвечать за свои ошибки деньгами. Возьмем автономный беспилотный автомобиль, у него есть определенные потребности: топливо, электричество, техническое обслуживание, запчасти и потребность в деньгах для всего этого. Он их зарабатывает своей функциональностью, непрерывным передвижением по городу, перевозкой пассажиров из точки А в точку Б, за что пассажиры платят ему, как сейчас платят Яндексу или Uber. Машина тратит меньше, чем зарабатывает, и копит деньги, которыми она будет отвечать, если что-то случится, и с нее будет взыскано возмещение ущерба.

Андрей Незнамов, исполнительный директор ПАО «Сбербанк»; основатель проекта «Робоправо», старший научный сотрудник Института государства и права РАН:

— У термина «искусственный интеллект» нет единого определения; поэтому достаточно сложно говорить о единых правилах применения искусственного интеллекта во всех сферах. Соответственно, вопрос ответственности также нельзя решить однозначно. На сегодняшний день универсальным можно назвать только одно правило: ответственность несет человек.

На прошедшей в ноябре 2019 года в Москве конференции по искусственному интеллекту AI Journey президент РФ Владимир Путин предложил разработать этические нормы взаимодействия человека с искусственным интеллектом:

— Сейчас во всем мире разворачивается дискуссия о социальных аспектах и последствиях использования искусственного интеллекта, это очень важная тема. Предлагаю профессиональному сообществу, компаниям подумать над формированием свода этических правил взаимодействия человека с искусственным интеллектом.

Искусственный разум убивает

Даже малейшие просчеты в проектировании интеллектуальных систем могут приводить к катастрофическим последствиям уже сегодня. Так, выяснилось, что из-за ошибочных показаний датчика и системы контроля полета самолеты Boeing 737 MAX могут сами неожиданно уходить в пике. Получив неверные вводные об обтекании крыла потоком воздуха, самолеты автоматически опускают нос вниз. Этот факт честно признали в компании после того, как Boeing 737 MAX 8 индонезийской авиакомпании Lion Air потерпел крушение в октябре 2018 года над морем у западного побережья острова Ява. На борту находились 189 человек, все погибли.

Это расширенная версия текста, опубликованного в номере «РГ»

Google распустил совет по вопросам этики в области искусственного интеллекта после протестов сотрудников

Google распустил недавно созданный Внешний консультативный совет по передовым технологиям (ATEAC), который должен был рассматривать этические вопросы, связанные с развитием искусственного интеллекта (ИИ) и других новых технологий. Причина — критика как со стороны сотрудников компании, так и от сторонних наблюдателей в адрес кандидатур экспертов, вошедших в совет. Представители Google заявили, что «начнут всё с чистого листа» и попытаются другими способами собрать мнение людей по вопросу разработки и использования инновационных ИИ-технологий.

С самого момента создания на Внешний консультативный совет по передовым технологиям, в состав которого вошло восемь человек, обрушился шквал критики. По мере развития технологий искусственного интеллекта вопрос этики в данной области становится все более важным, ведь ИИ уже применяется при подборе персонала и проверке соискателей, а также в системах наблюдения. Тем не менее как сотрудники Google, так и сторонние эксперты выступили против кандидатур некоторых членов совета.

1 апреля сотрудники Google создали петицию, требующую отстранения от работы совета Кей Коулс Джеймс, главы консервативного стратегического исследовательского института The Heritage Foundation, в связи с ее резкими высказываниями об ЛГБТ-сообществе и иммигрантах. Более 2350 сотрудников Google подписали петицию. Кроме того, петицию подписали еще около 300 человек, среди которых были эксперты в области разработки ИИ и представители организаций, занимающихся вопросами использования ИИ, например движения под названием Лига алгоритмической справедливости (AJL).

В петиции сотрудники Google обвинили руководство компании в том, что оно встало на защиту Джеймс. По мнению руководства Google, присутствие Кей Коулс Джеймс в совете обеспечивало «плюрализм мнений». Авторы петиции считают, что на деле ее включение в совет «значительно подрывает позиции Google в отношении вопросов этики и равноправия в области ИИ», поскольку при поборе персонала представители меньшинств, например члены ЛГБТ-сообщества или иммигранты, подвержены большему риску дискриминации или исключения из списка потенциальных кандидатов со стороны ИИ-систем.

Петиция была создана после того, как профессор по информационным технологиям и государственной политике Алессандро Акисти добровольно ушел в отставку 30 марта. Он заявил, что больше не считает ATEAC «подходящим форумом» для себя. 3 апреля еще один член совета, профессор Лучано Флориди, занимающийся вопросами цифровой этики, написал на своей странице в Facebook, что рекомендует руководству Google исключить Кей Коулс Джеймс из совета. При этом он сам не планировал уходить в отставку.

Внимательному изучению подвергли также и кандидатуру Дайан Гиббенс, CEO стартапа Trumbull Unmanned, занимающегося производством дронов. Ранее компания Trumbull Unmanned разрабатывала БПЛА для Вооруженных сил США. Пристальное внимание к кандидатуре Дайан Гиббенс было связано с прошлогодним решением Google не продлевать спорный контракт с Пентагоном, по которому компания должна была создать ИИ-систему для анализа видеозаписей с военных беспилотников. Тогда тысячи сотрудников американского IT-гиганта выступили против вовлечения Google в «военный бизнес».

В итоге 4 апреля руководство Google заявило о роспуске ATEAC. «Стало ясно, что в нынешних условиях совет не может работать так, как мы хотели. Поэтому мы распускаем совет и начинаем все с чистого листа», — сообщил Forbes официальный представитель компании. По его словам, Google и далее будет ответственно подходить к решению важных вопросов, связанных с технологиями искусственного интеллекта. Представитель компании добавил, что Google будет искать другие способы сбора мнения сторонних наблюдателей в отношении использования ИИ.

В 2019 году руководство Google планировало четыре раза встретиться с членами Внешнего консультативного совета по передовым технологиям. Впоследствии компания должна была опубликовать отчет, подводящий итоги дискуссий.

Читать еще:  Тайны Страстной седмицы. Воскрешение Лазаря

В Twitter создатели петиции против Кей Коулс Джеймс поблагодарили поддержавших движение за «нежелание мириться с ненавистью».

Но не только руководство Google на прошлой неделе призвали изменить политику по вопросам этики в области ИИ. 3 апреля группа экспертов по технологиям искусственного интеллекта опубликовала открытое письмо, в котором руководство Amazon призвали прекратить продажу технологии по распознаванию лиц Rekognition правоохранительным органам. Ранее исследователи выяснили, что программа чаще ошибается при распознавании лиц темнокожих женщин, чем при распознавании лиц светлокожих мужчин.

«Нет никаких законов или установленных норм, которые бы обеспечивали использование программы Rekognition без нарушений гражданских свобод людей», — говорилось в письме экспертов.

Несмотря на то что общественность уже не раз призывала к регламентации использования технологий искусственного интеллекта, никаких подобных правил пока что не было создано.

Не повод для хвастовства. Эксперты опасаются искусственного интеллекта

Святой архиепископ Василий Калика (на кафедре с 1330 по 1352 гг.)

Сайт Новгородской епархии на карте посещения пользователей со всего мира

Конструктор сайтов

Не повод для хвастовства. Эксперты опасаются искусственного интеллекта

  • | Печать |

Подробности 30.01.2019 17:40 Просмотров: 140

В конце 2018 года Исследовательский центр Пью опросил экспертов, усилят ли технологии человеческий потенциал? Большинство ответов оказались отрезвляющими и далекими от оптимистичных оценок. Чего боятся люди, хорошо знающие индустрию технологий, рассуждает профессор Открытого университета Джон Нотон.

Пятьдесят лет назад инженер по имени Дуглас Энгельбарт провел в Сан-Франциско живую демонстрацию, которая изменила компьютерную индустрию и, косвенно, весь мир. Несколько сотен гиков в зрительном зале наблюдали, как он использует что-то, называемое «мышкой», и специальную клавиатуру, чтобы управлять документами, и показывает, как люди в разных местах могут вместе работать над общими файлами в интернете.

Это, как сказал присутствовавший на выступлении технический историк Стивен Леви, была «мать всех демонстраций».

«Окна открывались и закрывались, и их содержимое менялось, а аудитория смотрела в утробу киберпространства. Энгельбарт говорил своим спокойным голосом сотрудника Центра управления полетами, и, действительно, перед их глазами проносились последние рубежи».

Это выступление 1968 года вдохновило огромную новую индустрию, основанную на сетевых персональных компьютерах, использующих графические интерфейсы. Другими словами, все то, что мы используем сегодня.

Дуглас Энгельбарт во время демонстрации

Энгельбарт был провидцем, который считал, что наиболее эффективный способ решения проблем — расширить человеческие возможности и разработать способы построения коллективного интеллекта. По его мнению, компьютеры будут «мощным рулевым механизмом для мозга» — инструментом для расширения человеческих возможностей. Эта идея стала основой оптимистической истории технологической индустрии.

За последние несколько лет мечта оказалась немного запятнана. Мы узнали, как информационные вампиры внедряют технологии, чтобы использовать нас, и одновременно предоставляют бесплатные инструменты для нашего предполагаемого «роста». Аргументы «за» варьируются от компании к компании. Электронные таблицы, обработка текстов, автоматизированное проектирование (CAD) и инструменты для планирования, например, безусловно стали благом.

Поисковые системы можно рассматривать как протез для человеческой памяти или оправдание того, что нет необходимости сохранять в голове фактические знания. Но не ясно, какой когнитивный рост – если такой имеется – нам дают Instagram или Facebook. А уж что касается твиттера…

Тем не менее, существует один вид недавних технологических разработок, в пользу которого постоянно приводят аргументы о росте. Это искусственный интеллект (ИИ). Его проповедники неизменно изображают ИИ как технологию, которая действительно может усилить человеческие возможности. В нынешнем проявлении это, как правило, машинное обучение.

Его потенциал роста часто впечатляет. Можно подумать, например, о том, как программное обеспечение может сканировать десятки тысяч снимков сетчатки и отбирать те, на которые необходимо обратить внимание глазному хирургу.

Но в то же время известно много случаев, когда машинное обучение приводило к искаженным результатам и предвзятым прогнозам. Широко распространена обеспокоенность по поводу построения мира вокруг такой мощной и такой несовершенной технологии.

Чтобы попытаться оценить степень риска, Исследовательский центр Пью поставил перед группой экспертов следующий вопрос: «Считаете ли вы, что к 2030 году продвижение систем искусственного интеллекта и связанных с ним технологических систем усилит человеческий потенциал и расширит его возможности?»

Ученые получили откровенные и отрезвляющие ответы. Все респонденты были людьми, которые понимали потенциал технологий, но преобладающее впечатление, которое у них сложилось, вызывает обеспокоенность. Они считают, что широкое использование ИИ приводит к потере человеческой воли, поскольку принятие решений по ключевым аспектам жизни передается «черному ящику», управляемому кодом. Они боятся возможного злоупотребления в системах наблюдения, предназначенных для получения прибыли (так называемых «социальных сетях»), последствия которых уже достаточно очевидны.

Они видят риски существования для многих видов занятости. В то время как некоторые ожидают появления новых видов рабочих мест, другие беспокоятся по поводу массовой безработицы, расширения экономических разногласий, социальных потрясений и популистских восстаний, вызванных этим.

Многие из респондентов осознают и приветствуют потенциал роста ИИ, другие же опасаются, что наша растущая зависимость от технологий подорвет нашу способность думать самостоятельно, действовать независимо или эффективно взаимодействовать с другими.

И некоторые предвидят, что рост способности технологий вмешиваться в демократические процессы (например, с помощью видео с «глубокой фальсификацией») приведет к хаосу.

Первое, что следует сказать об этом исследовании — это не был статистически репрезентативный опрос общественного мнения. Это серьезная попытка выяснить мнение широкого круга хорошо осведомленных мыслителей, многие из которых знакомы с отраслью, ее технологиями и корпорациями. По крайней мере, их размышления отличаются от бешеного хвастовства об «искусственном интеллекте повсюду» в технологической индустрии, которая рассматривает этику как профессиональную терапию для философов на неполной занятости и других «неудачников».

Но в первую очередь это заставило меня задуматься, что бы Дуглас Энгельбарт сделал во время дебатов. «Кто-то однажды назвал меня “просто мечтателем”, — как-то сказал он. — Это оскорбило меня. Быть “просто мечтателем”, настоящим мечтателем — тяжелая работа. Действительно сложно становится, когда начинаешь верить в свои мечты». Особенно когда они превращаются в ночной кошмар.

Ссылка на основную публикацию
Статьи c упоминанием слов:
Adblock
detector