Информационная энтропия хаоса

Информационная энтропия хаоса

Введение

На Habr достаточно много публикаций, в которых рассматривается понятие энтропии, вот только некоторые из них [1÷5]. Публикации были позитивно восприняты читателями и вызвали большой интерес. Достаточно привести определение энтропии, которое дал автор публикации [1]: «энтропия — это то, как много информации вам не известно о системе». Публикаций о явлении хаосе на Habr тоже достаточно [6÷9]. Однако связь энтропии и хаоса в обеих группах публикаций не рассматривалась.

Это объясняется тем, что различные области знаний выделяют разные виды меры хаоса:

• информационная;
• термодинамическая;
• дифференциальная;
• культурная.

Также описываются меры хаоса с учётом их специфики даже в одной из указанных областей довольно сложно.

Пробуя предельно упростить задачу, я решил рассмотреть связь информационной энтропии и хаоса на примере сходства областей прохождения от порядка к хаосу на диаграммах в виде точечных отображений и на графиках энтропийного коэффициента для этих областей.

Что из этого получилось Вы узнаете заглянув под кат.

Механизмы перехода от порядка к хаосу

Анализ механизмов перехода от порядка к хаосу в реальных системах и различных моделях выявил универсальность относительно немногих сценариев перехода к хаосу. Переход к хаосу может быть представлен в виде диаграммы бифуркаций (термин «бифуркация» употребляется для обозначения качественных перестроек системы c возникновением нового режима её поведения).

Вхождение системы в непредсказуемый режим описывается каскадом бифуркаций, следующих одна за другой. Каскад бифуркаций ведет последовательно к появлению выбора между двумя решениями, затем четырьмя и так далее, система начинает колебаться в хаотическом, турбулентном режиме последовательного удвоения количества возможных значений.

Будем рассматривать бифуркации удвоения периода и появление хаоса в точечных отображениях. Отображение – это функция, которая показывает зависимость последующих значений параметров системы от предыдущих значений:

Рассмотрим также и вторую часто применяемую функцию:

C помощью точечных отображений изучают объекты не с непрерывным, а с дискретным временем. При переходе к отображению размерность изучаемой системы может уменьшаться.

При изменении внешнего параметра lambda точечные отображения демонстрируют довольно сложное поведение, которое становится хаотическим при достаточно больших lambda. Хаос это очень быстрое разбегание траекторий в фазовом пространстве.

Бифуркация–это качественная перестройка картины движения. Значения управляющего параметра, при которых происходят бифуркации, называются критическими или бифуркационными значениями.

Для построения диаграмм будем применять следующие два листинга:

№1. Для функции:

№ 2. Для функции

Для оценки влияния характера логистической функции на критические значения рассмотрим диаграммы с функцией для этого будем применять листинг №1:

При 0 Диаграмма ветвления

Построим график для энтропийного коэффициента при тех же областях :

Сравнивая диаграмму и график, видим идентичное отображение областей на диаграмме и на графике для энтропийного коэффициента для функции .

Для дальнейшего анализа явлений информационного хаоса с использованием энтропийного коэффициента, создадим диаграмму ветвления для логистической функции: с нанесением переходных областей:

Построим график для энтропийного коэффициента при тех же областях :

Сравнивая диаграмму и график, видим идентичное отображение областей на диаграмме и на графике для энтропийного коэффициента для функции

Выводы:

В статье решена учебная задача: является ли информационная энтропия мерой хаоса, а также средствами Python дан утвердительный ответ на этот вопрос.

О том, как порядок становится хаосом.
Об энтропии.

Энтропия со все того же греческого языка переводится как «поворот», «превращение». Это показатель случайности или неупорядоченности строения какой-либо системы. Впервые этот термин был введен в термодинамике в 1865 году немецким физиком Р. Клаузиусом для отражения процесса однонаправленного перераспределения энергии в замкнутых системах. Под энтропией стали понимать меру беспорядка системы. Соответственно, существовавшая до этого момента формулировка второго закона термодинамики (теплота не переходит самопроизвольно от холодного тела к более горячему), данная ранее тем же Клаузиусом, приняла более точный вид. Теперь второй закон термодинамики стал звучать следующим образом:

При самопроизвольных процессах в системах, имеющих постоянную энергию, энтропия всегда возрастает.

Физический смысл возрастания энтропии заключается в том, что изолированная система с постоянной энергией и некоторым количеством частиц движется от более или менее упорядоченного состояния к состоянию хаоса, беспорядка и дезорганизации.

Это состояние и есть наиболее простое состояние системы (термодинамическое равновесие), при котором движение частиц хаотично. Так, например, Брайан Грин в своей книге «Ткань космоса: пространство, время и текстура реальности» писал:

«Высокая энтропия означает, что много перестановок составляющих частей, мыслимых для системы, пройдут незамеченными, и это, с другой стороны, означает, что система сильно неупорядочена. Низкая энтропия означает, что только несколько перестановок пройдут незамеченными, и это, с другой стороны, означает, что система сильно упорядочена».

Говоря об энтропии Вселенной, нужно отметить, что Клаузиус в своей попытке распространить заново сформулированный второй закон термодинамики на эту огромную систему пришел к выводу: энтропия Вселенной всегда возрастает. Что, в свою очередь, приводит нас к другому выводу: Большой взрыв, в результате которого и появилась Вселенная, дал ей старт в экстраординарно специфическом, высоко упорядоченном состоянии с низкой энтропией. И с тех самых пор, с момента своего непосредственного возникновения, Вселенная движется по пути возрастания энтропии, т.е. стремится перейти из сложного, упорядоченного состояния к более простому и хаотичному. Максимальная же энтропия означает полное термодинамическое равновесие, т.е. состояние абсолютного хаоса.

Вывод из этого следует довольно печальный:

Необратимая направленность процессов преобразования энергии в изолированных системах рано или поздно приведет к превращению всех ее видов в тепловую энергию, которая, рассеиваясь, равномерно распределится между всеми элементами системы, что и будет означать термодинамическое равновесие.

Если наша Вселенная замкнута, то ее ожидает именно эта незавидная участь. Из хаоса, как утверждали древние греки, она родилась, в хаос же, по предположению классической термодинамики, и возвратится.

Но тогда возникает вопрос: как вся эта система может стремиться к беспорядку, если в реальности мы наблюдаем явления, полностью противоположные этому? Например, вся история жизни на Земле – это эволюция. Как получилось так, что Вселенная, возникнув в таком высокоупорядоченном состоянии, организовала свои элементы так, что на протяжении миллиардов лет они все более и более упорядочивались, усложнялись в своих структурах, вместо того, чтобы медленно деградировать через равномерные, но менее упорядоченные конфигурации, на пути к возрастающей энтропии?

Здесь огромное значение имеет стрела времени, порожденная Большим Взрывом. Все дело в том, что, как бы удивительно это не звучало, энтропия возрастает как по направлению в будущее, так и по направлению в прошлое. Однако вероятность того, что система перейдет в состояние с большей энтропией (настолько подавляюще велика по сравнению с вероятностью того, что она пойдет по пути ее уменьшения), что последнее вообще фактически невозможно в природе.

Например, представим, что стоящая на столе чашка – образ высокого порядка. Теперь вообразим, что эта чашка падает со стола и разбивается на множество осколков. Мы получим образ хаоса.

Такой путь, от целого и упорядоченного до разбившегося и хаотичного, пройти нетрудно, другое дело, что обратный ход событий невозможен. Так происходит и со Вселенной: порядок вначале – это то, с чего все стартовало, и мы с тех пор живем, двигаясь в направлении более высокого беспорядка. Беспорядок растет со временем, потому что мы измеряем время в направлении, в котором растет беспорядок, т.е. от прошлого к будущему. Это и есть одно из определений стрелы времени.

Однако живые организмы – это открытые системы.

А открытая система, в отличие от изолированной, способна обмениваться с окружающей средой энергией, веществом и информацией. Любой живой организм есть физическая система с поразительно высокой степенью упорядоченности. Откуда же возникла эта организация и как она поддерживается?

Любой живой организм живет, и остается жив достаточно долгое время, чтобы успеть произвести на свет потомство, питаясь и дыша при этом. Пища и кислород обеспечивают ряд материалов, из которых животные получают требуемую их организмам энергию. У этой энергии есть свойство, которое необходимо подчеркнуть.

В течение своей жизни живое существо, оставаясь здоровым, получает примерно такое же количество энергии, какое оно потом возвращает в окружающую среду, главным образом, в форме тепла и других отходов своей жизнедеятельности. Если бы этого баланса между приходящей и уходящей энергией не существовало, животное становилось бы все более и более тяжелым.

Разрушение же живой системы (смерть организма) наступает тогда, когда данная система становится изолированной, т.е. получение энергии извне и вывод тепла и продуктов распада из организма прекращается.

В изолированной системе, находящейся в неравновесном состоянии, возникают процессы, вызывающие увеличение в ней энтропии и стремящиеся привести ее в состояние равновесия.

Однако работоспособность живой системы основана на ее физическом и химическом неравновесии, ее высокая функциональность поддерживается высокой упорядоченностью динамического состояния неравновесия. Следовательно, переход такой системы в равновесное состояние хаоса, как бы парадоксально это ни звучало, означает для нее гибель.

Согласно современным научным взглядам, процессы взаимоперехода от порядка к хаосу можно обнаружить фактически во всем. Каждый живой организм и неживой предмет есть сложноорганизованная система. А для любой системы характерно движение от упорядоченного состояния ее элементов к хаотичному, и наоборот.

Есть, что почитать:

Гесиод Полное собрание текстов [текст]: поэмы, фрагменты / перевод В.В. Вересаева. – М.: Лабиринт, 2001. – с. 256.

Грин, Б. Ткань космоса [текст] : Пространство, время и текстура реальности / Б. Грин. – М. – ЛИБРОКОМ, 2009. – с. 169.

Зубарев Д.Н., Морозов В.Г. Энтропия [текст] / Д.Н. Зубарев, В.Г. Морозов // Физическая энциклопедия: в 5-ти томах. — М.: Большая российская энциклопедия, 1998. – С. 616-617.

Можейко, М. А. Космос [текст] / М. А. Можейко // История философии: Энциклопедия. — Мн.: Интерпрессервис; Книжный Дом. 2002. — с. 1376.

Термодинамика нелинейных биологических процессов [текст] : Переход к хаосу. – Екатеринбург: Хрестоматия, 2008. – с.34.

Хокинг С. Краткая история времени [текст] : от большого взрыва до черных дыр / С. Хокинг. – СПб: Амфора, 2010. – с. 231.

Простыми словами

Так как энтропия имеет место быть в самых различных областях деятельности человека, ее определение является несколько расплывчатым. Однако на простейших примерах можно понять суть этой величины. Энтропия – это мера хаоса, степень беспорядка, другими словами – неопределенности, неупорядоченности. Тогда система из разбросанных клочьев бумаги на улице, которые еще периодически подбрасывает ветер, имеет высокую энтропию. А система из сложенных в стопку бумаг на рабочем столе имеет минимальную энтропию. Чтобы понизить энтропию в системе с клочьями бумаги, Вам придется затратить немало времени и энергии на склеивание клочков бумаги в полноценные листы, и складывание их в стопку.

В случае с закрытой системой так же все просто. К примеру, Ваши вещи в закрытом шкафу. Если Вы не будете действовать на них извне, то вещи долгое время будут, вроде бы, сохранять свое значение энтропии. Но рано или поздно они разложатся. Например, шерстяной носок будет разлагаться до пяти лет, а вот кожаной обуви потребуется около сорока лет. В описанном случае шкаф – изолированная система, а разложение вещей – переход от упорядоченных структур к хаосу.

Подводя итоги, следует отметить, что минимальная энтропия наблюдается у разнообразных макроскопических объектов (тех, которые можно наблюдать невооруженным глазом), имеющих определенную структуру, а максимальная — у вакуума.

digitall_angell

Ментальная разведка и метаконтакт. Новый взгляд на историю, медицину, “других” и возможности Матрицы

• Recent Entries
• Friends
• Archive
• Profile

• Add to friends
• RSS

Глава 8. Энтропия

Для полного понимания системы сознания очень важно освоить понятие “энтропия”. Энтропия – есть мера организации в системе, мерило системного баланса и гармонии между её элементами. Чем больше баланса в системе, тем ниже её энтропия. Например, молекулы воды намного легче транспортировать в жидком или замороженном виде, когда все они собраны вместе – в состоянии низкой энтропии. Если же они находятся в газообразном состоянии, то их, сначала, придется сконденсировать, что займет дополнительную энергию и не всегда возможно вообще. В какой-то мере, низкую энтропию можно сравнить с компактностью, утрамбованностью, в какой-то – с гармонией и внутренней организацией.

Для домохозяек будет понятно такое сравнение: низкая энтропия – это когда дома порядок, все убрано и лежит на своих местах. Высокая энтропия подразумевает грязь и бардак )

Также энтропия является мерой эволюционного прогресса: качество сознания определяется опытом и доступной ему энергией, которая добывается через обращение на себя внимания вышестоящих уровней через этот опыт, с последующим понижением энтропии. Чем ниже энтропия сознания, тем легче ему добывать дополнительную энергию извне или освобождать внутреннюю.

Принцип любой системы достаточно прост:

Каждая система стремится к балансу – к понижению собственной энтропии: чем ниже энтропия, тем больше порядка в системе.

Например, организованная государственная система Швейцарии тратит намного меньше энергии (денег, времени, человеческих, административных и других ресурсов) на поддержание самой себя, в то время, как в России энтропия системы настолько высока, что большинство энергии тратится на её поддержание и управление, тем самым полностью или частично предотвращая развитие.
По изначальному замыслу каждая система, включая её отдельные блоки, должна позитивно развиваться и эволюционировать, т.к. стагнация и регрессия фатальны в долгосрочной перспективе. Эволюция как велосипед – или едет, или падает. Изменение и есть сама жизнь, без изменения нет жизни.

Следовательно, в преследовании понижения собственной энтропии, то есть самоорганизовываясь, система освобождает ресурсы (энергию) для дальнейшей работы над собой. В противном случае, энергия растрачивается на самоорганизацию и системный прогресс останавливается.

Каждая открытая система должна быть оптимизирована для наилучшего взаимодействия с другими, потому что закрытых систем сознания не бывает – все является частью чего-то. Она должна находиться в балансе, а не в хаосе, и будет пытаться сделать это всеми усилиями, ибо выжить в долгосрочной перспективе она может только развиваясь таким образом.

В. Что произошло в Тартарии? Нужно ли было ее ликвидировать по причине заражения «серым туманом»?
О. В целом, правильно, можно утверждать, что нравы на закате империи были нехороши с точки зрения светлой эволюции. Поэтому, когда некая цивилизация уплотняется до нижнего порога, существующего на этом участке эксперимента, она сама себя уничтожает. Изнутри, с микроуровня, это может восприниматься как ликвидация внешними силами, но на самом деле это процесс саморазрушения, инициированный сильным сжатием-уплотнением до предельной точки, после которой начинается обратный процесс хаоса. Система разрушает себя сама. А внешне индивидуализированное сознание воспринимает это как насилие, войну, катаклизм.. И если вы способны выйти своим взглядом и сознанием на макроуровень, и посмотреть на этот мегапроцесс максимально объективно – вы увидите огромный организм, Тартария – это организм, который родился, развился, достиг апогея, потом стал понижаться в вибрациях, сжался в точку и взорвался. Это метафизическая сторона процесса. А внешние инструменты – набор их вам известен. Войны, взрывы, эпидемии, цунами…
В. Зачем? Вот была себе Тартария – кому она мешала?
О. Ну как зачем? Она сгнила, как яблоко, она закончила свое развитие.

В. Сколлапсировала сама на себя?
О. Да! И дальше – вы поймите – мы все одинаковые! И мы, и вы, мы так же наступаем на грабли) Как вот ваш обычный человечек говорит: все, с понедельника начинаю новую классную жизнь! Расчистил территорию, полон светлых надежд! У нас тоже такое бывает. Вот расчистилась территория, хотели сделать новую цивилизацию, чистую, светлую, просветленную, прелесть! Получилось, как обычно.
Почему ты думаешь, сейчас идет такая стадия эксперимента – Переход? Потому что поняли, что варить кашу в одном грязном котле бессмысленно. Потому что она все время падает в вибрациях. Поняли, что нужно поменять вибрационные настройки. Полностью поменять решетку магнитную, поменять атмосферу, параметры. Что бы наконец эта каша, которая на земле варится, наконец то сварилась в нормальный борщ. Эксперимент подготавливался давно и долго, потому что, что бы заменить решетки магнитные и кристаллические – это нужно было провести очень серьезную работу.
Читать весь пост

По сути дела, Тартария достигла достаточно высокого уровня энтропии, чтобы вся система вышла из состояния хоть какого-то баланса. Её разрушение последовало, как логическое преобразование старого механизма в новый – хаос был призван породить порядок (не факт, что это произошло, но таковы были надежды)

Старые или неработающие системы разрушаются изнутри (болезнь для отдельного человека, или война для цивилизации), либо снаружи (убийство для человека, или падение небесного тела для цивилизации). Как именно система будет разрушена (будь то частично или полностью) – неважно, но метод всегда найдется при достижении критического уровня или полном выполнении поставленных задач. В последнем случае система становится ценным опытом, но далее развиваться не может, ибо программа полностью отработана, дальнейшее понижении энтропии невозможно.

На примере Кубика Рубика данный постулат, возможно, станет еще более понятным:

Кубик Рубика в разобранном состоянии имеет высокую энтропию, а в собранном – максимально низкую. В собранном состоянии – когда все 54 его цветовых ячейки (6 сторон с 9 ячейками на каждой) находятся вместе, его энтропия минимальна, система полностью собрана, максимальный баланс достигнут, можно сворачивать и архивировать опыт (или начинать снова, через разборку – хаос):

Низкая энтропия.

Однако, если из 56 клеток кубика собрано лишь 55 или меньше, его придется разобрать (внести хаос, повысить энтропию), чтобы потом собрать, как нужно:

Высокая энтропия

В какой-то мере можно утрированно сказать, что Тартария не смогла собрать свой кубик Рубика и ей пришлось начать процесс сначала. Запомните, пожалуйста, это сравнение, оно очень пригодится нам в будущих главах.

Таким образом, организация в системе является базовым управляющим принципом – чем выше организация (ниже энтропия), тем больше свободной энергии освобождается на развитие системы, и тем дольше она живет.