Сложность флуктуации информации - Information fluctuation complexity

Сложность флуктуации информации - это теоретико-информационная величина, определяемая как флуктуация информации об энтропии . Он является производным от флуктуаций преобладания порядка и хаоса в динамической системе и используется в качестве меры сложности во многих различных областях. Он был представлен в статье Бейтса и Шепарда в 1993 году.

Определение

Сложность флуктуации информации дискретной динамической системы является функцией распределения вероятностей ее состояний при воздействии случайных внешних входных данных. Цель управления системой с помощью богатого источника информации, такого как генератор случайных чисел или сигнал белого шума, состоит в том, чтобы исследовать внутреннюю динамику системы во многом так же, как богатый по частоте импульс используется при обработке сигнала .

Если система имеет возможные состояния и вероятности состояний известны, то ее информационная энтропия равна

где - информационное содержание государства .

Информация флуктуация сложность системы определяется как стандартное отклонение или колебание о его среднее :

или же

Флуктуация информации о состоянии равна нулю в максимально неупорядоченной системы со всеми ; система просто имитирует свои случайные входные данные. также равен нулю, когда система идеально упорядочена только с одним фиксированным состоянием , независимо от входных данных. отличен от нуля между этими двумя крайностями со смесью состояний с более высокой вероятностью и состояний с меньшей вероятностью, заполняющих пространство состояний .

Колебание информации позволяет запоминать и вычислять

Поскольку сложная динамическая система развивается во времени, то, как она переходит между состояниями, нерегулярно зависит от внешних стимулов. Иногда он может быть более чувствительным к внешним раздражителям (нестабильный), а иногда - менее чувствительным (стабильный). Если конкретное состояние имеет несколько возможных следующих состояний, внешняя информация определяет, какое из них будет следующим, и система получает эту информацию, следуя определенной траектории в пространстве состояний. Но если несколько разных состояний приводят к одному и тому же следующему состоянию, то при переходе в следующее состояние система теряет информацию о том, какое состояние ему предшествовало. Таким образом, сложная система демонстрирует чередование получения и потери информации по мере ее развития во времени. Чередование или колебание информации эквивалентно запоминанию и забыванию - временному хранению информации или памяти - важной особенности нетривиальных вычислений.

Прирост или потеря информации, связанной с переходами между состояниями, могут быть связаны с информацией о состоянии. Чистая информация об усилении перехода из состояния в состояние является информацией , полученной при выходе из состояния менее потерянной информации при входе в состоянии :

Вот это вперед условная вероятность того, что , если текущее состояние является тем следующим состояние и является обратной условной вероятностью , что , если текущее состояние является то предыдущее состоянием . Условные вероятности связаны с вероятностью перехода, вероятностью того , что происходит переход из состояния в состояние , посредством:

Устранение условных вероятностей:

Следовательно, сетевая информация, полученная системой в результате перехода, зависит только от увеличения информации о состоянии от начального до конечного состояния. Можно показать, что это верно даже для нескольких последовательных переходов.

напоминает отношение между силой и потенциальной энергией . это как потенциал и , как силы в . Внешняя информация «подталкивает» систему «вверх» к состоянию с более высоким информационным потенциалом для обеспечения хранения в памяти, подобно тому, как толкает массу вверх в состояние с более высоким гравитационным потенциалом, запасающим энергию. Количество накопленной энергии зависит только от конечной высоты, а не от пути в гору. Точно так же объем хранимой информации не зависит от пути перехода между двумя состояниями в пространстве состояний. Когда система достигает редкого состояния с высоким информационным потенциалом, она может «упасть» в более обычное состояние, теряя ранее сохраненную информацию.

Это может быть полезно для вычисления стандартного отклонения от около его среднего (которая равна нуль), а именно колебания чистой прибыли информации , но принимает во внимание нескольких переходных петли памяти в пространстве состояний и , следовательно , должно быть лучший показателем вычислительной мощности системы. Более того, его легче вычислить, потому что переходов может быть намного больше, чем состояний.

Хаос и порядок

Динамическая система, чувствительная к внешней информации (нестабильная), демонстрирует хаотическое поведение, тогда как система, нечувствительная к внешней информации (стабильная), демонстрирует упорядоченное поведение. Сложная система демонстрирует оба поведения, колеблясь между ними в динамическом равновесии, когда подчиняется богатому источнику информации. Степень колебания количественно определяется ; он фиксирует смену преобладания хаоса и порядка в сложной системе по мере ее развития во времени.

Пример: вариант правила 110 элементарного клеточного автомата.

Правило 110 варианты элементарного клеточного автомата были доказаны , чтобы иметь возможность универсального вычисления . Доказательство основано на существовании и взаимодействии сплоченных и самовоспроизводящихся клеточных паттернов, известных как планеры или космические корабли , возникающих феноменов, которые подразумевают способность групп автоматных клеток помнить, что планер проходит через них. Поэтому следует ожидать, что в пространстве состояний будут возникать петли памяти, возникающие в результате чередования получения и потери информации, нестабильности и стабильности, хаоса и порядка.

Рассмотрим группу из трех смежных автоматных ячеек, которые подчиняются правилу 110: конец-центр-конец. Следующее состояние центральной ячейки зависит от текущего состояния самой себя и конечных ячеек, как указано в правиле:

Правило элементарного клеточного автомата 110.
3-ячеечная группа 1-1-1 1-1-0 1-0-1 1-0-0 0-1-1 0-1-0 0-0-1 0-0-0
следующая центральная ячейка 0 1 1 0 1 1 1 0

Чтобы рассчитать сложность флуктуации информации в этой системе, прикрепите ячейку драйвера к каждому концу группы из 3 ячеек, чтобы обеспечить случайный внешний стимул, например, так,водитель → конец-центр-конец ← драйвер, так что правило можно применить к двум конечным ячейкам. Затем определите, каким будет следующее состояние для каждого возможного текущего состояния и для каждой возможной комбинации содержимого ячейки драйвера, чтобы определить прямые условные вероятности.

Диаграмма состояний этой системы изображена ниже, с кругами , представляющих состояние и стрелкой , представляющими переходы между состояниями. Восемь состояний этой системы,1-1-1 к 0-0-0помечены десятичным эквивалентом 3-битного содержимого группы из 3 ячеек: от 7 до 0. Стрелки перехода помечены условными вероятностями вперед. Обратите внимание, что существует изменчивость расхождения и схождения стрелок, соответствующая изменчивости хаоса и порядка, чувствительности и нечувствительности, усилению и потере внешней информации от ячеек драйвера.

Трехэлементная диаграмма состояний элементарного клеточного автомата с правилом 110, показывающая вероятности прямого условного перехода при случайной стимуляции.

Условные вероятности прямого перехода определяются долей возможного содержимого ячейки драйвера, которое управляет конкретным переходом. Так , например, для четырех возможных комбинаций два содержимого ячейки драйвера, государственных 7 приводят к состояниям 5, 4, 1 и 0 , так , , и каждые из 1/4 или 25%. Кроме того, состояние 0 приводит к состояниям 0, 1, 0 и 1 , так и каждый из 1/2 или 50%. И так далее.

Вероятности состояний связаны соотношением

а также

Эти линейные алгебраические уравнения могут быть решены вручную или с помощью компьютерной программы для вероятностей состояний со следующими результатами:

p 0 п 1 п 2 стр. 3 стр 4 стр. 5 стр. 6 стр. 7
2/17 2/17 1/34 5/34 2/17 2/17 2/17 17 апреля

Информационная энтропия и сложность могут быть вычислены из вероятностей состояний:

Обратите внимание, что максимально возможная энтропия для восьми состояний будет иметь место, если бы все восемь состояний были равновероятными с вероятностями 1/8 (случайность). Таким образом, правило 110 имеет относительно высокую энтропию или использование состояния - 2,86 бита. Но это не исключает существенного колебания информации о состоянии энтропии и, следовательно, существенного значения сложности. Принимая во внимание, что максимальная энтропия исключила бы сложность.

Альтернативный метод может использоваться для получения вероятностей состояний, когда аналитический метод, использованный выше, неосуществим. Просто управляйте системой на ее входах (ячейках драйвера) со случайным источником для многих поколений и наблюдайте вероятности состояний эмпирически. Когда это делается с помощью компьютерного моделирования для 10 миллионов поколений, результаты будут следующими:

Информационные переменные для правила 110 элементарного клеточного автомата
количество ячеек 3 4 5 6 7 8 9 10 11 12 13
(биты) 2,86 3,81 4,73 5,66 6,56 7,47 8,34 9,25 10.09 10,97 11,78
(биты) 0,56 0,65 0,72 0,73 0,79 0,81 0,89 0,90 1,00 1.01 1,15
0,20 0,17 0,15 0,13 0,12 0,11 0,11 0,10 0,10 0,09 0,10

Поскольку оба и увеличиваются с размером системы, их безразмерное соотношение , относительная сложность флуктуации информации , включены для лучшего сравнения систем разных размеров. Обратите внимание, что эмпирические и аналитические результаты согласуются для 3-клеточного автомата.

В статье Бейтса и Шепарда вычисляется для всех правил элементарных клеточных автоматов, и было замечено, что те, которые демонстрируют медленно движущиеся глайдеры и, возможно, неподвижные объекты, как это делает правило 110, сильно коррелируют с большими значениями . поэтому его можно использовать в качестве фильтра для выбора правил-кандидатов для универсальных вычислений, что утомительно доказывать.

Приложения

Хотя вывод формулы сложности флуктуации информации основан на флуктуациях информации в динамической системе, формула зависит только от вероятностей состояний и поэтому также применима к любому распределению вероятностей, в том числе полученному из статических изображений или текста.

На протяжении многих лет на оригинальную работу ссылались исследователи во многих различных областях: теория сложности, наука о сложных системах, хаотическая динамика, экологическая инженерия, экологическая сложность, анализ временных рядов экологической устойчивости, устойчивость экосистемы, загрязнение воздуха и воды, гидрологический вейвлет-анализ. , поток воды в почве, влажность почвы, сток верхних вод, глубина подземных вод, управление воздушным движением, модели потоков и наводнения, топология, рыночное прогнозирование цен на металлы и электроэнергию, информатика здоровья, человеческое мышление, кинематика походки человека, неврология, анализ ЭЭГ, речь анализ, образование, инвестирование и эстетика.

Рекомендации

  1. ^ a b c d e Бейтс, Джон Э .; Шепард, Харви К. (1993-01-18). «Измерение сложности с использованием флуктуации информации». Физика Буквы A . 172 (6): 416–425. DOI : 10.1016 / 0375-9601 (93) 90232-O . ISSN  0375-9601 .
  2. ^ Бейтс, Джон Э. (2020-03-30). «Измерение сложности с использованием флуктуации информации: учебное пособие» . Исследовательские ворота .
  3. ^ Atmanspacher, Харальд (сентябрь 1997). «Декартово разрезание, разрез Гейзенберга и концепция сложности». Мировые фьючерсы . 49 (3–4): 333–355. DOI : 10.1080 / 02604027.1997.9972639 . ISSN  0260-4027 .
  4. ^ Шализи, Cosma Rohilla (2006), Deisboeck, Thomas S .; Креш, Дж. Яша (ред.), «Методы и методы науки о сложных системах: обзор», Наука о сложных системах в биомедицине , Международная серия книг по биомедицинской инженерии, Springer, США, стр. 33–114, arXiv : nlin / 0307015 , DOI : 10.1007 / 978-0-387-33532-2_2 , ISBN 978-0-387-33532-2, S2CID  11972113
  5. ^ Wackerbauer, Ренат (1995-11-01). «Шумовая стабилизация системы Лоренца». Physical Review E . 52 (5): 4745–4749. DOI : 10.1103 / PhysRevE.52.4745 . PMID  9963970 .
  6. ^ Сингх, Виджай П. (2013-01-10). Теория энтропии и ее применение в экологии и водном хозяйстве . Джон Вили и сыновья. ISBN 978-1-118-42860-3.
  7. ^ Парротт, Lael (2010-11-01). «Измерение экологической сложности» . Экологические показатели . 10 (6): 1069–1076. DOI : 10.1016 / j.ecolind.2010.03.014 . ISSN  1470-160X .
  8. ^ Lange, Хольгер (2006), "Время серии анализ в экологии", ELS , Американское общество рака, DOI : 10.1038 / npg.els.0003276 , ISBN 978-0-470-01590-2
  9. ^ Ван, Чаоцзюнь; Чжао, Хунжуй (2019-04-18). «Анализ данных временных рядов дистанционного зондирования для обеспечения устойчивости экосистемы: использование временной информационной энтропии». Международный журнал дистанционного зондирования . 40 (8): 2880–2894. DOI : 10.1080 / 01431161.2018.1533661 . ISSN  0143-1161 . S2CID  135003743 .
  10. ^ Клемм, Отто; Ланге, Хольгер (1999-12-01). «Тенденции загрязнения воздуха в горах Фихтельгебирге, Бавария». Науки об окружающей среде и исследованиях загрязнения . 6 (4): 193–199. DOI : 10.1007 / BF02987325 . ISSN  1614-7499 . PMID  19005662 . С2ЦИД  35043 .
  11. ^ Ван, Канг; Линь, Чжунбин (2018). «Характеристика неточечных источников загрязнения реки в различных пространственных масштабах». Журнал «Вода и окружающая среда» . 32 (3): 453–465. DOI : 10.1111 / wej.12345 . ISSN  1747-6593 .
  12. ^ Лабат, Дэвид (2005-11-25). «Последние достижения в вейвлет-анализе: Часть 1. Обзор концепций» . Журнал гидрологии . 314 (1): 275–288. DOI : 10.1016 / j.jhydrol.2005.04.003 . ISSN  0022-1694 .
  13. ^ Пачепский, Яков; Губер, Андрей; Жак, Дидерик; Симунек, Иржи; Van Genuchten, Marthinus Th .; Николсон, Томас; Кэди, Ральф (01.10.2006). «Информативность и сложность моделирования потоков почвенных вод» . Геодермия . Фрактальная геометрия применительно к почвам и связанным с ними иерархическим системам - фракталы, сложность и неоднородность. 134 (3): 253–266. DOI : 10.1016 / j.geoderma.2006.03.003 . ISSN  0016-7061 .
  14. ^ Кумар, Суджай V .; Дирмейер, Пол А .; Петерс-Лидард, Криста Д .; Биндлиш, Раджат; Болтен, Джон (2018-01-01). «Информационно-теоретическая оценка спутникового определения влажности почвы» . Дистанционное зондирование окружающей среды . 204 : 392–400. DOI : 10.1016 / j.rse.2017.10.016 . ЛВП : 2060/20180003069 . ISSN  0034-4257 . PMC  7340154 . PMID  32636571 .
  15. ^ Hauhs, Майкл; Ланге, Хольгер (2008). «Классификация стока в верхних водосборах: физическая проблема?». География Компас . 2 (1): 235–254. DOI : 10.1111 / j.1749-8198.2007.00075.x . ISSN  1749-8198 .
  16. ^ Лю, Мэн; Лю, Донг; Лю, Ле (01.09.2013). «Исследование сложности региональных рядов глубин подземных вод на основе многомасштабной энтропии: тематическое исследование бюро филиала Цзянсаньцзян в Китае». Науки об окружающей среде . 70 (1): 353–361. DOI : 10.1007 / s12665-012-2132-у . ISSN  1866-6299 . S2CID  128958458 .
  17. ^ Син, Цзин; Мэннинг, Кэрол А. (апрель 2005 г.). «Сложность и автоматизация дисплеев управления воздушным движением: обзор и анализ литературы» . Цитировать журнал требует |journal=( помощь )
  18. ^ Ван, Канг; Ли, Ли (ноябрь 2008 г.). «Характеризация неоднородных структур потоков с использованием информационных измерений». 2008 Первая международная конференция по интеллектуальным сетям и интеллектуальным системам : 654–657. DOI : 10,1109 / ICINIS.2008.110 . S2CID  8867649 .
  19. ^ Аль Саваф, Мохамад Базель; Каваниси, Киёси (01.11.2020). «Оценка режимов стока горных рек и паводков с использованием информационных и комплексных мер» . Журнал гидрологии . 590 : 125508. дои : 10.1016 / j.jhydrol.2020.125508 . ISSN  0022-1694 .
  20. ^ Джавахери Джавид, Мохаммед Али; Альгамди, Ваджди; Циммер, Роберт; аль-Рифаи, Мохаммад Маджид (2016), Би, Яксин; Капур, Суприя; Бхатия, Рахул (ред.), «Сравнительный анализ обнаружения симметрий в тороидальной топологии» (PDF) , Интеллектуальные системы и приложения: расширенные и избранные результаты конференции SAI по интеллектуальным системам (IntelliSys) 2015 , Исследования в области вычислительного интеллекта, Springer International . Публикация, стр 323-344, DOI : 10.1007 / 978-3-319-33386-1_16 , ISBN 978-3-319-33386-1
  21. ^ Он, Kaijian; Лу, Синцзин; Цзоу, Инчао; Кеунг Лай, Кин (01.09.2015). «Прогнозирование цен на металлы с использованием многомасштабной методологии кривых» . Политика ресурсов . 45 : 144–150. DOI : 10.1016 / j.resourpol.2015.03.011 . ISSN  0301-4207 .
  22. ^ Он, Kaijian; Сюй, Ян; Цзоу, Инчао; Тан, Лин (2015-05-01). «Прогнозы цен на электроэнергию с использованием подхода Curvelet, основанного на шумоподавлении» . Physica A: Статистическая механика и ее приложения . 425 : 1–9. DOI : 10.1016 / j.physa.2015.01.012 . ISSN  0378-4371 .
  23. ^ Ahmed, Mosabber Uddin (2021), Ахад, Md Atiqur Рахман; Ахмед, Mosabber Uddin (ред.), "Сложность анализа в информатике здравоохранения" , обработка сигналов Методы вычислительной информатики здравоохранения , Интеллектуальные системы справочной библиотеки, Чам: Springer International Publishing, стр 103-121,. DOI : 10.1007 / 978-3- 030-54932-9_4 , ISBN 978-3-030-54932-9, получено 2021-02-01
  24. ^ Ши Сюцзянь; Сунь Чжицян; Ли Лонг; Се Хунвэй (2009). «Анализ когнитивной сложности человека в транспортных системах». Логистика . Труды: 4361–4368. DOI : 10.1061 / 40996 (330) 637 . ISBN 9780784409961.
  25. ^ Чжан, Шутао; Цянь, Цзиньву; Шен, Линьюн; Ву, Си; Ху, Сяоу (октябрь 2015 г.). «Анализ сложности походки и частотного содержания пациентов с болезнью Паркинсона». Международный симпозиум по биоэлектронике и биоинформатике 2015 г. (ISBB) : 87–90. DOI : 10.1109 / ISBB.2015.7344930 . ISBN 978-1-4673-6609-0. S2CID  2891655 .
  26. ^ Ван, Джисон; Но, Гю-Чжон; Чой, Бюнг-Мун; Ку, Сын-Ву; Джу, Пангю; Юнг, Ву-Сон; Ким, Сынхван; Ли, Хонсоо (13.07.2017). «Подавление нервной сложности во время бессознательного состояния, вызванного кетамином и пропофолом» . Письма неврологии . 653 : 320–325. DOI : 10.1016 / j.neulet.2017.05.045 . ISSN  0304-3940 . PMID  28572032 . S2CID  13767209 .
  27. ^ Бола, Михал; Орловский, Павел; Пломецкая, Мартина; Марчевка, Артур (30.01.2019). «Разнообразие сигналов ЭЭГ во время седации пропофолом: увеличение у пациентов с седативным эффектом, но с ответом, уменьшение у пациентов с седативным эффектом и пациентов без ответа» . bioRxiv : 444281. дои : 10,1101 / 444281 . S2CID  214726084 .
  28. ^ Fan Yingle; У Чуанян; Ли И; Панг Цюань (15 декабря 2006 г.). «Исследование по применению измерения сложности флуктуации в обнаружении конечных точек речи» . Аэрокосмическая медицина и медицинская инженерия . 19 (6). ISSN  1002-0837 .
  29. ^ Дилгер, Александр (2012-01-01). «Эндогенная сложность, специализация и общее образование». На горизонте . 20 (1): 49–53. DOI : 10.1108 / 10748121211202062 . ISSN  1074-8121 .
  30. ^ Иванюк Вера Алексеевна (2015). «Динамическая модель управления стратегическим инвестиционным портфелем» . elibrary.ru .
  31. ^ Джавахери Джавид, Мохаммед Али (2019-11-30). Эстетические автоматы: синтез и моделирование эстетического поведения в клеточных автоматах (докторская диссертация). Ювелиры, Лондонский университет. DOI : 10,25602 / gold.00027681 .