От «Энигмы» до ChatGPT

Watching video

Exercise № 3 (7 min to complete. 17 out of 45)[13]

Watch the first part (00:00–02:57) twice, then work in pairs or small groups to answer the questions. (7 minutes to complete in classroom).

Create questions for a YouTube Video.

Посмотрите первую часть (00:00–02:57) дважды, затем работайте парами или небольшими группами, чтобы ответить на вопросы. (7 минут на выполнение задания в классе).

Создайте вопросы для видео на YouTube.

Questions / Вопросы:

1. What is the relevance of Voltaire’s quote to artificial intelligence? / Какова актуальность цитаты Вольтера для искусственного интеллекта?

2. What are some examples of AI’s capabilities? / Какие примеры возможностей ИИ вы можете привести?

3. What is the speaker’s profession and how long have they worked on AI? / Кто этот докладчик по профессии и сколько времени он работает в области ИИ?

4. What is the current state of AI? / В каком состоянии сейчас ИИ?

5. What are large language models and what do they demonstrate? / Что такое большие языковые модели и что они демонстрируют?

6. What are some of the mistakes that AI makes? / Какие ошибки ИИ делает чаще всего?

7. How do many people believe that AI’s mistakes can be fixed? / Почему многие считают, что ошибки ИИ можно исправить?

8. What are the three immediate challenges that society faces with extreme-scale AI models? / Какие три непосредственные проблемы возникают у общества с моделями ИИ крупного масштаба?

9. Why are researchers in the larger community unable to inspect and dissect these models? / Почему исследователи из большого сообщества не могут изучить и разобрать эти модели?

10. What are some intellectual questions surrounding AI’s safety and scalability? / Какие интеллектуальные вопросы окружают безопасность и масштабируемость ИИ?

Correct answers / Правильные ответы:

1. The quote is relevant because AI is powerful but lacks common sense. / Цитата актуальна, потому что ИИ мощен, но не обладает здравым смыслом.

2. AI can beat world-class champions, ace college admission tests, and pass the bar exam. / ИИ может победить чемпионов мирового класса, сдать вступительные экзамены в колледж и сдать экзамен на статус адвоката.

3. The speaker is a computer scientist of 20 years who works on AI. / Докладчик — компьютерный ученый с 20-летним стажем работы в области ИИ.

4. AI is like a Goliath, very large and powerful. / ИИ подобен Голиафу, очень большой и мощный.

5. Large language models are trained on tens of thousands of GPUs and a trillion words, and they demonstrate sparks of AGI. / Большие языковые модели обучаются на десятках тысяч GPU и триллионе слов, и они демонстрируют искры общего искусственного интеллекта (AGI).

6. AI often makes small, silly mistakes. / ИИ часто делает маленькие, глупые ошибки.

7. Many people believe that AI’s mistakes can be fixed with brute force, bigger scale, and more resources. / Многие считают, что ошибки ИИ можно исправить с помощью грубой силы, большего масштаба и больших ресурсов.

8. The three immediate challenges are the concentration of power among a few tech companies, the inability of researchers to inspect and dissect these models, and the environmental impact of their massive carbon footprint. / Три непосредственные проблемы: концентрация власти среди нескольких технологических компаний, неспособность исследователей изучить и разобрать эти модели и экологическое воздействие их огромного углеродного следа.

9. Researchers in the larger community do not have the means to inspect and dissect these models because they are so expensive to train. / Исследователи из большого сообщества не имеют средств для изучения и разбора этих моделей, потому что их обучение дорогостоящее.

10. Intellectual questions include whether AI without robust common sense can be truly safe for humanity and whether brute-force scale is really the only way. / Интеллектуальные вопросы включают в себя следующее: может ли искусственный интеллект без прочного здравого смысла быть действительно безопасным для человечества и является ли применение «грубой» масштабированности единственно возможным путем.

Следующим шагом мы представим учащимся еще несколько словарных значений, однако на этот раз им придется заполнять пропуски в соответствующих предложениях. Для этого нам необходимо создать транскрипт следующей части видео (02:57–05:48). Предложения курсивом будут использованы в упражнении, а выделенные слова — предмет поиска.

Transcript № 2

We need to make AI smaller to democratize it, and we need to make AI safer by teaching human norms and values.

Perhaps we can draw an analogy from David and Goliath. Here, Goliath being the extreme-scale language models, and seek inspiration from an old-time classic, The Art of War, which tells us, in my interpretation, know your enemy, choose your battles, and innovate your weapons.

Let's start with the first, know your enemy, which means we need to evaluate AI with scrutiny. AI is passing the bar exam. Does that mean that AI is robust at common sense? You might assume so, but you never know.

So suppose I left five clothes to dry out in the sun, and it took them five hours to dry completely. How long would it take to dry 30 clothes? GPT-4, the newest, greatest AI system, says 30 hours. Not good.

A different one. I have a 12-liter jug and a 6-liter jug, and I want to measure 6 liters. How do I do it? Just use the 6-liter jug, right? GPT-4 spits out some very elaborate nonsense. Step one, fill the 6-liter jug. Step two, pour the water from 6- to 12-liter jug. Step three, fill the 6-liter jug again. Step four, very carefully pour the water from 6- to 12-liter jug. And finally, you have 6 liters of water in the 6-liter jug that should be empty by now.

OK, one more. Would I get a flat tire by bicycling over a bridge that is suspended over nails, screws and broken glass? Yes, highly likely, GPT-4 says. Presumably because it cannot correctly reason that if a bridge is suspended over the broken nails and broken glass, then the surface of the bridge doesn't touch these sharp objects directly.

OK, so how would you feel about an AI lawyer that aced the bar exam yet randomly fails at such basic common sense? AI today is unbelievably intelligent and then shockingly stupid. It is an unavoidable side effect of teaching AI through brute force scale.

Some scale optimists might say, don't worry about this, all of this can be easily fixed by adding similar examples as yet more training data for AI. But the real question is this. Why should we even do that? You are able to get the correct answers right away without having to train yourself with similar examples.

Нам нужно сделать ИИ меньше, чтобы демократизировать его, и надо сделать ИИ безопаснее, обучая человеческим нормам и ценностям.

Наверное, можно провести аналогию с Давидом и Голиафом. Здесь Голиаф — это модели языка большого масштаба, и мы можем черпать вдохновение из старой классики «Искусство войны», которое гласит, по моему толкованию: узнай своего врага, выбери свои битвы и инновационное оружие.

Начнем с первого — узнай своего врага, что означает: что нам нужно критически оценивать ИИ. ИИ сдал юридический экзамен. Это значит, что у ИИ есть здравый смысл? Вы могли бы предположить, что это так, но вы никогда не узнаете.

Допустим, я выставил 5 вещей высушить на солнце и им понадобилось 5 часов, чтобы высохнуть полностью. Сколько времени потребуется, чтобы высушить 30 вещей? GPT-4, новейшая и величайшая система ИИ, говорит 30 часов. Не хорошо.

Еще один пример. У меня есть кувшин на 12 литров и кувшин на 6 литров, и я хочу измерить 6 литров. Как я это делаю? Просто используйте кувшин на 6 литров — правильно? Но GPT-4 выдает какую-то очень сложную чушь. Шаг первый: наполните кувшин на 6 литров. Шаг второй: перелейте воду из 6-литрового кувшина в 12-литровый. Шаг третий: снова наполните 6-литровый кувшин. Шаг четвертый: очень осторожно перелейте воду из 6-литрового кувшина в 12-литровый. И наконец, у вас есть 6 литров воды в 6-литровом кувшине, который к этому времени должен быть пустым.

ОК, еще один вопрос. Получу ли я прокол шины, если буду ездить на велосипеде по мосту, который подвешен над гвоздями, винтами и разбитым стеклом? Да, очень вероятно — говорит GPT-4. Предположительно потому, что она не может правильно рассуждать о том, что если мост подвешен над разбитыми гвоздями и стеклом, то поверхность моста не касается этих острых предметов напрямую.

Итак, как бы вы отнеслись к юристу-ИИ, который отлично сдал юридический экзамен, но случайно допускает такие базовые ошибки в здравом смысле? Искусственный интеллект сегодня невероятно умный, а затем поразительно глупый. Это неизбежное побочное явление обучения ИИ с помощью грубой силы масштаба.

Некоторые оптимисты в плане масштаба могут сказать: не беспокойтесь об этом, все это можно легко исправить, добавив подобные примеры в качестве еще одних обучающих данных для ИИ. Но настоящий вопрос в следующем: зачем нам вообще это делать? Вы можете получить правильные ответы сразу, без необходимости обучаться на подобных примерах.

Exercise № 4 (7 min to complete. 24 out of 45)[14]

Watch the second part of the talk (02:57–05:48), complete the sentences with the following words: aced, presumably, suspended, nonsense, measure, jug, randomly.

A different one. I have a 12-liter jug and a 6-liter __, and I want to __ 6 liters. How do I do it? Just use the 6-liter jug, right? GPT-4 spits out some very elaborate ____. Step one, fill the 6-liter jug. Step two, pour the water from 6- to 12-liter jug. Step three, fill the 6-liter jug again. Step four, very carefully pour the water from 6- to 12-liter jug. And finally, you have 6 liters of water in the 6-liter jug that should be empty by now.

OK, one more. Would I get a flat tire by bicycling over a bridge that is __ over nails, screws and broken glass? Yes, highly likely, GPT-4 says. __ because it cannot correctly reason that if a bridge is suspended over the broken nails and broken glass, then the surface of the bridge doesn't touch these sharp objects directly.

OK, so how would you feel about an AI lawyer that __ the bar exam yet ____ fails at such basic common sense? AI today is unbelievably intelligent and then shockingly stupid. It is an unavoidable side effect of teaching AI through brute force scale.

Просмотрите вторую часть разговора (02:57–05:48), дополните предложения следующими словами: сдал, предположительно, висит, абсурд, измерять, кувшин, случайно.

Что-то другое. У меня есть кувшин на 12 литров и кувшин на 6 литров, и я хочу __ 6 литров. Как я это делаю? Просто используйте кувшин на 6 литров — верно? GPT-4 выдает какой-то очень замысловатый ____. Первый шаг: наполните кувшин на 6 литров. Второй шаг: перелейте воду из кувшина на 6 литров в кувшин на 12 литров. Третий шаг: снова наполните кувшин на 6 литров. Четвертый шаг: очень осторожно перелейте воду из кувшина на 6 литров в кувшин на 12 литров. И наконец, у вас есть 6 литров воды в кувшине на 6 литров, который к этому моменту должен быть пуст.

Хорошо, еще одно. Получу ли я спущенное колесо, если проеду на велосипеде по мосту, который __ над гвоздями, винтами и разбитым стеклом? Да, очень вероятно, говорит GPT-4. __, потому что он не может правильно рассуждать о том, что если мост висит над сломанными гвоздями и стеклом, то поверхность моста не касается этих острых объектов напрямую.

Ладно, как бы вы отнеслись к ИИ-адвокату, который __ экзамен на статус адвоката, но ____ терпит неудачу в таких основных вопросах здравого смысла? ИИ сегодня невероятно умен, а потом поразительно глуп. Это неизбежный побочный эффект обучения ИИ с помощью грубой силы масштаба.

Не упускаем из внимания важный культурный аспект, которому хотим научить: вынудить задуматься над тем, что такое здравый смысл. Для этого мы прекращаем слушать, даже если у нас еще осталась половина видео. Переносим вторую половину на следующий раз и переходим к части, где задаемся вопросами и ищем самостоятельно ответы. Записываем мысли и готовимся представить наше мнение. Бесспорно, критическому мышлению, по мнению профессора Виллингама, научить невозможно, но научить думать на каком-то материале вполне по силам каждому преподавателю.

Мы будем размышлять, что такое здравый смысл. Для этого сначала ответим самим себе, что это и почему машина допускает глупые ошибки, а потом прочтем один или несколько комментариев под видео и «подумаем» о них.