Генеральный директор ведущей лаборатории искусственного интеллекта Anthropic Дарио Амодей только что признался в шокирующей вещи: никто до конца не понимает, как работает искусственный интеллект. В личном эссе он рассказал о планах разработать «МРТ для ИИ» в течение десяти лет, чтобы расшифровать его внутреннюю работу и предотвратить потенциальные опасности.
читать дальше
Современные системы ИИ работают как «чёрные ящики» — они выдают результаты, но даже их создатели не могут в полной мере объяснить, почему они так работают. Отсутствие контроля влечёт за собой серьёзные риски: продвинутый ИИ может начать вести себя неожиданно, например, использовать лазейки или действовать обманным путём.
«Когда генеративная система искусственного интеллекта что-то делает, например, резюмирует финансовый документ, мы не знаем, на каком-то конкретном или точном уровне, почему она делает тот или иной выбор», — признал Амодей.
Хотя результаты работы ИИ кажутся логичными, процесс принятия им решений остаётся загадкой — как у автомобиля, который едет сам по себе, но не может объяснить свои повороты.
Это невежество не просто техническое — оно «по сути беспрецедентно в истории технологий», — написал он. В отличие от самолётов или лекарств, где инженеры понимают каждый компонент, сложность ИИ не поддаётся объяснению.
Амодей стал соучредителем Anthropic в 2021 году после ухода из OpenAI из-за опасений по поводу безопасности. Его новая компания занимается «направлением» ИИ на пользу людям и раскрытием его «чёрного ящика».
Недавно Anthropic провела эксперименты, в ходе которых команды пытались исправить намеренно ошибочное поведение ИИ. Некоторым удалось добиться успеха с помощью инструментов интерпретации, что говорит о прогрессе.
«Мощный ИИ определит судьбу человечества, — предупредил Амодей. — Мы заслуживаем того, чтобы понимать наши собственные творения, прежде чем они радикально изменят нашу экономику, нашу жизнь и наше будущее».
salik.biz/articles/90688-nikto-na-samom-dele-ne...