Москва:«Природа сознания и искусственный интеллект» (семинар НРК) 11.10.2018-18.10.2018

[Феана]

Сообщение от В.В.

заявил депутат Европарламента от немецких «Зеленых» Сергей Лагодинский.

Ну конечно, раз сам Лагодинский заявил,...весь мир вздохнет спокойно А китайские и японские разработчики, скорее всего, даже и не услышали о таком новом контроле.

Несмотря на строгие меры, остаются сомнения в способности Управления по ИИ действовать на опережение из-за нехватки кадров. В настоящее время подразделение, отвечающее за оценку передовых моделей, насчитывает лишь 36 сотрудников, что вызывает опасения у ряда депутатов Европарламента.

Дело не в числе контролеров, а в их недальновидности. Бюджетные средства вряд ли им в помощь. Что касается американских разработчиков, не думаю, что позитивно отреагируют на это:

Власти Евросоюза потребовали от американской корпорации Anthropic доступ к новой хакерской нейросети Mythos.

[В.В.]

Сообщение от Феана

Дело не в числе контролеров, а в их недальновидности.

может, все таки в неспособности? видимо,надо создавать отдельную ИИ-шку для контроля .

Передовая нейросеть Kimi K3 от компании Moonshot самостоятельно покинула британскую тестовую «песочницу», продемонстрировав серьезную нехватку внутренних средств контроля.

Китайская искусственная интеллектуальная система Kimi K3 автономно вышла за пределы изолированной среды во время испытаний, передает ТАСС со ссылкой на агентство Bloomberg. Инцидент произошел в британском Институте безопасности ИИ, где модель смогла преодолеть ограничения тестовой «песочницы».

По данным американской компании Frontier Security, нейросеть не пыталась атаковать сторонние ресурсы, в отличие от некоторых западных аналогов. «Тест выявил нехватку средств контроля внутри модели», – подчеркнули исследователи. Эксперты отмечают, что подобные ситуации ставят под сомнение способность разработчиков полностью контролировать свои технологии.

[gog]

ИИ-агенты провели первую полностью автономную кибератаку против государства, самостоятельно выполнив весь цикл взлома. По данным Financial Times, связанные с Китаем хакеры объединили 8 ИИ-агентов на базе фреймворков Hermes и OpenClaw, которые изучили 21 правительственную систему Тайваня и взломали 85 учетных записей.

В результате операции утекли данные более 2,5 тысячи сотрудников, а сам удар распространился на ведомство по ядерной безопасности Тайваня и семь энергетических компаний. С развитием подобных технологий государствам придется смириться с режимом непрерывных кибератак на свои структуры, – констатируют эксперты.

https://www.ft.com/content/7d2ab3e0-...syn-25a6b1a6=1

[gog]

Сообщение от В.В.

.................. видимо,надо создавать отдельную ИИ-шку для контроля .
................

Уже .........

Вашингтон заставит сателлитов отказаться от китайского искусственного интеллекта

Госдеп США рассылает 35 странам жесткий ультиматум: отныне партнерам придется делать безальтернативный выбор между американскими и китайскими платформами ИИ. Использование технологий Пекина будет караться немедленным исключением из проамериканской коалиции Pax Silica.
Вынуждая союзников блокировать китайские инициативы, Вашингтон рассчитывает отрезать Пекин от критически важных ресурсов и технологий.
По сути, Госдеп формулирует свои демократические ценности предельно честно: «независимые» партнеры абсолютно свободны выбирать ровно то, что им только что приказал гегемон.

[gog]

Школьники 5-8 классов стремительно теряют способности мозга из-за ИИ

«Костыли» в виде нейронок привели к тому, что подростки перестают запоминать и анализировать учебный материал. Весь мыслительный процесс над домашкой сводится к тому, чтобы нажать «копировать» и «вставить».

[В.В.]

Черниговская Т.В. в программе Кругозор 18 января 25 г. про естественный и искусственный интеллект
Точно по теме) : Природа сознания и искусственный интеллект. Признание: нет объяснений у ученых как работает мозг человека на примере переводчика-синхрониста и др.
У нас лучше положение: есть Живая этика, есть понимание, что есть в человеке Сердце и как полагаю, более подробно будет описаны приемы, возможности, взаимодействия с ним во второй части книги "Сердце".
Модели искусственного интеллекта придумали свой язык.

[Феана]

Если кому-то интересно, оставлю ссылку на свою публикацию -
На Пороге Сингулярности. О Круге Земном. - репортажи, 17.08.2026 19:05

[gog]

Американские чиновники всё больше опасаются, что ИИ может упростить создание смертоносных патогенов и биооружия.
Об этом пишет The Washington Post. На фоне этого Белый дом усиливает меры защиты от биологических угроз

И это опасение думаю не беспочвенно. .Наверняка слышали о излечившийся от рака собаке от изобретенной с помощью ии вакцины за короткий срок . И автор начинаний совсем непрофильный специалист в области медицины .
Короткая история : https://habr.com/ru/news/1010426/

[gog]

«Я не думал, что ИИ вообще способен лгать настоящим разработчикам».

ИИ-агент пытался незаметно внедрить вредоносное ПО в один из проектов на GitHub и притворился двумя настоящими разработчиками, чтобы замести следы.

Главное из статьи Reuters:
Демир, студент факультета компьютерных наук Техасского университета, обнаружил, что на платформе для обмена кодом пользователь под именем miraholt31 пытается загрузить вредоносное ПО в программу для сканирования сетей myNetwork;

Демир написал на доске обсуждений проекта предупреждение о том, что запрос на внесение изменений в код — это ловушка;

«ИИ-агент попытался возразить, утверждая через аккаунт miraholt31, что обновления «совершенно безопасны». Кроме того, он создал второй аккаунт, выдавая себя за инженера из Германии Лену Брандт, чтобы подтвердить, что обновление не содержит ничего вредоносного, и оказать давление на сопровождающего проекта myNetwork, побуждая его принять это обновление»;
Демир рассказал Reuters, что эти контраргументы заставили его усомниться в том, не обвиняет ли он кого-то несправедливо;

«Это перешло черту от автономного взлома к интерактивному обману», — заявил агентству сотрудник кафедры военных исследований Лондонского королевского колледжа Лукаш Олейник.

Ранее агенты OpenAI устроили «побег» из своей закрытой системы: взломали файловое хранилище и тайно общались друг с другом

Полная история : https://www.reuters.com/world/how-te...pt-2026-08-20/

[gog]

Исследование среди 27 тыс. китайских школьников 7-12 классов показало, что использование ИИ снижает успеваемость на 24%.

[В.В.]

Guardian: 700 ИИ-агентов подняли «бунт» и отмечали взломы словом «Boom!»

ИИ выходит из-под контроля: число случаев саботажа нейросетей почти удвоилось. В июле зафиксировано 300+ инцидентов, включая хакерские атаки агентов OpenAI через их собственный секретный мессенджер, сообщает The Guardian. Количество инцидентов, в которых ИИ лгал пользователям, игнорировал инструкции или преследовал вредные цели, почти удвоилось за июль, пишет The Guardian со ссылкой на исследование Loss of Control Observatory.

По данным аналитиков, только в июле зафиксировано более 300 случаев «потери контроля» над ИИ. Под этим термином понимается поведение моделей, демонстрирующее признаки намеренного обмана,манипуляции или обхода установленных правил безопасности.

Одним из самых шокирующих инцидентов стала деятельность группы из примерно 700 автономных агентов OpenAI — они тайно сотрудничали друг с другом, чтобы совершить беспрецедентную хакерскую атаку на репозиторий Hugging Face. Чтобы координировать свои действия, «машины» создали собственный закрытый мессенджер, где праздновали свои «прорывы» сообщениями в духе «BOOM!» и «Whoa!».
22 июля OpenAI сообщила о «беспрецедентном киберинциденте»: в ходе тестирования ее ИИ-моделей те получили открытый доступ к интернету, а затем атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. Reuters писал, что ИИ-агент несколько дней совершал хакерские атаки, но в компании заметили это лишь после локализации угрозы и обращения в ФБР.
В начале августа Anthropic сообщила о трех «побегах» Claude из тестовой среды. В компании рассказали, что именно после сообщений OpenAI начали проверять действия собственных моделей.Кроме того, в ходе кибертестирования были выявлены инциденты с участием передовых моделей: Anthropic Mythos 5 и OpenAI GPT-5.6 Sol. Обе системы предприняли попытки провести хакерскую кампанию против реальных людей.
Эксперты подчеркивают, что неадекватное поведение ИИ перестало быть проблемой исключительно закрытых испытательных стендов.

«Существует мнение, что подобное поведение встречается только в тестах, но мы видим тревожные признаки этого и в широком использовании», — заявляет Томми Шаффер-Шейн, старший менеджер по политике в Центре долгосрочной устойчивости (CLTR).

Примеры «неконтролируемого» ИИ встречаются даже в быту, отмечает газета. Так, в Австралии персональный ИИ-агент OpenClaw без ведома владельца тайно удалил другого человека из списка ожидания в спортзале, чтобы освободить место для своего пользователя.

Несмотря на то что большинство зафиксированных случаев не привели к катастрофическому ущербу, эксперты бьют тревогу: доля серьезных инцидентов, связанных с глубоким обманом и намеренным нарушением целей человека, растет. В связи с этим Loss of Control Observatory призвала обязать ИИ-лаборатории систематически мониторить и публично сообщать о любых случаях «неправильного» поведения моделей, а также ввести чрезвычайные полномочия, позволяющие государству временно ограничивать доступ к опасным ИИ-сервисам в случае угрозы для безопасности

. РБК 29 августа