От «Энигмы» до ChatGPT

Что значит чему-то научиться

В 1948 году Дональд Хебб описал предположения о методе, которым мозг человека тренирует и обучает себя. Тогда это было настоящей революцией, настолько, что гипотеза Хебба превратилась в «обучение Хебба», один из фундаментальных алгоритмов машинного обучения.

Гипотеза Хебба заключается в том, что нейроны головного мозга при взаимодействии возбуждаются друг о друга. Эффективность и длительность возбуждения усиливаются со временем, а связь между двумя нейронами укрепляется, возникают новые шаблоны и модели поведения.

Чтобы обучить AlphaGo, ученым необходимо создать алгоритм, который повторяет работу мозга. Для победы программа должна повторить не только образ мышления живого человека, но еще и интуитивные действия при изменяющихся условиях, коду из ноля и единицы необходимо «ожить». Да, в контролируемой и «узкой» среде доски для игры в го с полем 19 на 19, но все же. Научить выбирать самостоятельно оптимальное действие ради воздействия на среду обитания.

Deep Blue, чтобы научиться перебирать комбинации, потребовалась группа экспертов, а AlphaGo использовала кардинально иной подход. Она научилась играть в го, как это сделал бы человек: методом проб и ошибок. Разработчики загрузили в программу сотню тысяч любительских партий и позволили программе играть против самой себя. Так она училась, училась и училась. До тех пор, пока однажды не победила чемпиона Европы — Фань Хуэя, который на момент матча обладал вторым даном в рейтинге игры.

Игра против себя, разными версиями, позволила программе научиться на собственных ошибках. Идея, заложенная программистами в основу AlphaGo, вдохновила последующие исследования ИИ, но главное — заставила задуматься над тем, что значит быть человеком.

Искусственные нейронные сети, которые стали возможными в том числе благодаря AlphaGo, позволяют современным компьютерам и человеку делать намного больше, чем раньше. Сегодня нейронная сеть может научить себя — пусть и в пределах того, что ей позволит человек, но она на это способна. Тем не менее вопрос, что значит научиться и что такое интеллект, остается открытым. Более того, не просто открытым, а проблемой, к которой пока сложно подступиться.

Кажется, если мы сможем ответить на вопрос, что такое интеллект, то и создать искусственный интеллект не будет проблемой. Ближе всего к этому подобрались Эндрю Барто и Ричард Саттон. В 1998 году они издали книгу «Обучение с подкреплением», в которой формализовали принципы этого подхода. Мы предлагаем применять немного иной термин — «обучение с “сильной” петлей обратной связи».

Любой учитель скажет, что несложно выдать задачи ученикам для самостоятельной отработки, да и проверить любой объем тоже не станет серьезной неприятностью при обучении чему-либо. Проблема возникает в момент, когда необходимо предоставить обратную связь и скорректировать будущие действия. Форма и формат обратной связи от учителя к ученику — одно из узких мест системы обучения. Барто и Саттон пытаются решить проблему интеллекта через «сильную» петлю обратной связи, обучая исполнителя, действующего в определенных условиях, взаимодействовать со средой.

В самом широком смысле средой может быть что угодно. Для трейдера, торгующего на рынке, это график котировок. Учительская среда — класс с учениками. Исследователю для успешной публикации нужна среда научных работ. Писатель учится рисовать миры в безграничной среде своего воображения. Средой игрока в шахматы, го, шашки, нарды становятся поле и фигуры.

Цель очевидна: исполнитель взаимодействует со средой, а та предоставляет обратную связь — то, что можно увидеть или прочувствовать. Однако существует один особый вид обратной связи, который и делает из нее «сильную»: вознаграждение. Чем оно выше в ходе действия, тем корректнее принятое решение.

Отдельно стоит отметить, что в нашем случае не идет речи о теории вознаграждения, скорее о математическом расчете. Трейдеру для принятия решений нужно точно понимать отношение между риском, доходностью и убыточностью сделки. Учителю в школе — «силу» группы и способ обучения. Ученому — возможно, понимание усилий для написания и актуальность темы. Игроку в го — рассчитать ход, который увеличит вероятность победы.

Подобная модель взаимодействия с окружающей средой превосходно переносится на повседневную жизнь. Когда вы проголодались, то обычно решаете разогреть обед, и даже это простое действие имеет сложную модель принимаемых решений и действий — с задачами, подзадачами, которые вместе делают из простого «разогреть обед» сложный процесс:

• Открыть холодильник.

• Достать из холодильника контейнер со вчерашним пловом.

• Найти на полке нужный контейнер.

• Протянуть руку и вынуть его.

Другой набор сложных взаимодействий связан с подготовкой тарелки, вилки и разогрева. Каждое действие требует поиска объекта, создания целенаправленного движения тела. На ходу принимаются моментальные решения о том, что в какую руку брать, как нести — по отдельности или всё вместе. Каждый шаг подзадачи регулируется целью и выступает подкреплением и основанием для следующего действия, чтобы избавиться от чувства голода. Мы не говорим о том, какую роль в этом процессе играет тело, которое регулирует необходимость утолить чувство голода и определяет предпочтения в еде.

Решения принимаются в зависимости от вероятности получения награды в результате действия. Очевидно, что никто не выберет такую последовательность для утоления голода: взять в руки телефон, полистать ленту социальной сети, выключить телефон.

Гроссмейстер поступает аналогично, принимает решение о следующем ходе в соответствии с тем, как он представляет себе ожидаемое ответное действие оппонента и его реакции. Полагается он при этом на моментальное, интуитивное ощущение ситуации, желаемого итога, который может получиться в результате отдельного перемещения фигуры или серии ходов.

Ребенок впервые встает на ноги, опираясь на предметы, балансирует недалеко от того, что может помочь ему избежать падения, пытается сделать первые шаги, понимая, что ходить лучше, чем когда тебя переносят из одного место в другое. Наградой за многократные падения станет возможность перемещаться самостоятельно.

Так и происходит естественное обучение: природа учит через взаимодействия с объектами среды, подталкивает проверить пределы доступного. Как это ни удивительно, такой же подход лежит в основе многих теорий обучения и развития интеллекта.

Стоит поднять вопрос, почему современные образовательные учреждения не используют подход, при котором обучение происходит в процессе органичного взаимодействия со средой. Учителя впервые видят детей во время практики, а это четвертый курс. Финансисты работают с деньгами только после того, как окончили университет, — и это если повезет. Почему бы не сделать обратный цикл, когда обучаешься во взаимодействии? Мы согласны, что подобный вариант не подходит в тех областях, в которых действия сопряжены с риском и здоровьем, например в медицине. Проблема в том, что подобное не практикуется и там, где можно позволить себе некоторые «вольности».

Через взаимодействие со средой, обучаясь на своих ошибках и успехах, оценку вознаграждения, которое получает лишь в конце партии, AlphaGo научилась играть с человеком на нечеловеческом уровне. Программа принимает решение о каждом следующем ходе, после того как «ощутила» среду, и после многократных попыток понимает, какое действие кажется лучшим. Для программы доска, черные или белые камни, определенное их положение — не отдельные элементы системы. Они расцениваются как целостный механизм, проблемное пространство, в котором ей придется следовать цели, победить, влияя на среду с большим числом неизвестных и высоким уровнем неопределенности. Соответственно, ее задача — изменять своими действиями среду, придавая ей форму, которая увеличит шансы на победу.