Резюме
- Модель машины непрерывного мышления (CTM) включает время в нейронные сети для более человеческого решения проблем.
- Модели CTM заполняют пробел между моделями обучения ИИ, такими как LLM, и адаптивностью, подобной человеческой, но требуют больше ресурсов.
- Модель CTM сталкивается с такими проблемами, как более длительное время обучения, более медленный вывод и более низкая точность по сравнению с текущими моделями.
«Думают» ли модели ИИ? Это важный вопрос, потому что для того, кто использует что-то вроде ChatGPT или Claude, это наверняка внешность как будто бот думает. У нас даже есть маленькие всплывающие подсказки, которые говорят «думает», и в наши дни вы даже можете прочитать «цепочку мыслей» бота, чтобы увидеть, как он рассуждал, приходя к выводу.
Правда, однако, заключается в том, что хотя LLM и другие модели ИИ имитируют определенные аспекты мышления, это все еще не совсем то же самое, что естественный мозг, выполняющий эту работу. Однако новое исследование Машины непрерывного мышления (CTM) могут это изменить.
Что такое СТМ?
Машина непрерывного мышления (CTM) — это новый тип нейронной сети, которая буквально включает время в свое мышление. Вместо обычного одноразового расчета каждый нейрон CTM отслеживает свою прошлую активность и использует эту историю, чтобы решить, что делать дальше. В мае 2025 года Sakana AI подробно описала модель CTM в исследовательской статье и сообщении в блоге.
Сакана утверждает, что это новый тип искусственной нейронной сети, которая более точно имитирует работу естественного мозга. Нейроны в CTM не просто активизируются один раз и все; у них короткая «память» и они могут синхронизировать свои паттерны активации с другими нейронами. Внутреннее состояние сети определяется этими паттернами синхронности с течением времени.
Это очень похоже на синхронность в биологическом мозге, которая приводит к мозговым волнам. Это сильно отличает CTM от стандартных глубоких сетей или трансформаторов. Например, типичная модель на основе трансформатора обрабатывает фрагмент текста (или изображения) в фиксированном количестве слоев, все одновременно. По сути, он думает коротким определенным всплеском, а затем отключается, ожидая вашей следующей подсказки.
Выводы здесь глубокие. Если я вообще понимаю, что все это значит — а вполне возможно, что нет! Эта цитата из поста о решении лабиринтов и рассматривании фотографий действительно меня поразила:
Примечательно, что, несмотря на то, что он не был специально разработан для этого, решение, которое он изучает в лабиринтах, очень интерпретируемо и похоже на человеческое, где мы можем видеть, как он прокладывает путь через лабиринт, пока он «думает» о решении. Для реальных изображений нет явного стимула оглядываться, но он делает это интуитивно.
Далее, вот довольно точное изложение:
Мы называем полученную модель ИИ Непрерывной Мыслительной Машиной (CTM), моделью, способной использовать это новое временное измерение, богатую нейронную динамику и информацию о синхронизации, чтобы «думать» о задаче и планировать, прежде чем давать свои ответы. Мы используем термин «Непрерывная» в названии, потому что CTM работает полностью во внутреннем «измерении мышления» при рассуждениях. Она асинхронна относительно данных, которые она потребляет: она может рассуждать о статических данных (например, изображениях) или последовательных данных идентичным образом. Мы протестировали эту новую модель на широком спектре задач и обнаружили, что она способна решать разнообразные проблемы и часто очень интерпретируемым образом.
Я не хочу преувеличивать эту идею, пока мы не увидим больше и независимые стороны не проверят ее, но кое-что из того, что я здесь читаю, слегка приближается к сфере элементарного сознания.
Почему это лучше нынешних нейронных сетей?
Вся концепция CTM в основном избавляется от идеи «однократного решения» проблем, которая часто рассматривается как золотой стандарт для моделей ИИ, где вам нужно, чтобы он получал правильный ответ большую часть времени в течение фиксированного окна, которое у него есть, чтобы пропустить проблему через свою сеть-трансформатор (это тип нейронной сети, который используется, например, в ChatGPT).
Это одна из причин, по которой у нынешних LLM нет хорошего способа исправить относительно небольшой процент случаев, когда они ошибаются. Были улучшения с цепочкой мыслей, самоподсказками и перебрасыванием чего-либо между двумя моделями, пока не станет лучше, но похоже, что подход CTM может закрыть важный пробел в точности и надежности.
На основе обещания, которое Sakana описывает в своих работах, это может означать объединение сильных сторон моделей, таких как LLM, с адаптивностью и ростом биологического мозга. Я также думаю, что это имеет значение для робототехники и помогает воплощенным машинам учиться, расти и существовать в физическом мире более подобно нам.
Недостатки чрезмерного обдумывания
Непрерывное мышление — мощное, но оно сопряжено с компромиссами. Во-первых, CTM сложнее и требовательнее к ресурсам, чем простые сети прямого распространения. Разрешение каждому нейрону переносить свою историю значительно расширяет внутреннее состояние сети. На практике обучение CTM может потребовать гораздо больше вычислительной мощности и памяти. Обучение может занять больше времени, и для сходимости может потребоваться больше данных или итераций. Вывод также может быть медленнее, если модель выбирает много шагов мышления для сложного ввода.
Кроме того, все текущие инструменты и библиотеки основаны на статических моделях, а не на CTM, по понятным причинам. Так что если в этом действительно что-то есть, то инструментам понадобится некоторое время, чтобы догнать.
Другая большая проблема довольно очевидна — когда она должна перестать думать? Существует риск «убегающего» мышления, когда CTM просто движется по кругу. Поэтому должны быть некоторые довольно сложные правила, которые помогут ей понять, когда она закончила. Если вы этого не сделаете, то можете получить усиление ошибок и те же самые галлюцинации, которые у нас уже есть, поскольку модель отклоняется от истины, с которой она начинала.
Последняя главная проблема, и она очень важна, заключается в том, что эта ранняя модель CTM все еще довольно далека от соответствия лучшим моделям трансформаторов тока, когда дело касается точности. Согласно отчету VentureBeat, сейчас она сильно отстает от эталонных показателей точности.
Наш разум остается загадкой
Хотя то, что я видел о CTM на данный момент, основываясь на работах Sakana AI, выглядит много как и то, что мы видим в человеческом мозге, правда в том, что мы все еще не так много знаем о том, как работает наш собственный разум. Возможно, исследователи ИИ наткнулись на решение, похожее на то, что естественный отбор создал для нас и других видов животных, но также может быть, что мы создали что-то на параллельном пути, что в конечном итоге может быть таким же способным.
Я уже давно чувствую, что текущие модели — это лишь часть пазла более обобщенного ИИ, как LLM больше похож на языковой центр мозга, чем на все это, а CTM на первый взгляд кажутся мне еще одной частью пазла. Поэтому я буду с большим интересом следить за прогрессом Саканы.
