Теория информации — это ветвь теории вероятности и математической статистики, определяющая понятие информации.
Теория информации связана с информационной энтропией, коммуникационными системами, передачей данных и теорией скорости искажения, криптографией, сжатием данных, коррекцией ошибок и другими смежными областями.
Слово «информация» вошло в постоянное употребление не так давно, в середине двадцатого века, с подачи Клода Шеннона. Он ввел этот термин в узком техническом смысле, применительно к теории связи или передачи кодов (которая получила название «Теория информации»).
Клод Шэннон (1916—2001) называется «отцом теории информации». Его теория изначально понималась как строго математическая задача в статистике и дала инженерам средств передачи информации путь к определению ёмкости коммуникационного канала в терминах количества бит. Передающая часть теории не занимается значением (семантикой) передаваемого сообщения, однако дополняющая часть теории информации обращает внимание на содержимое через сжатие c потерями субъекта сообщения, используя критерий точности.
Приложения. Теория информации широко используется в: Теории кодирования, Криптографии и Криптоанализе, Передаче данных, Сжатии данных, Теории обнаружения, Теории оценки
В настоящее время наполнение термина Информация получило гораздо более глубокий смысл. И это не случайность, а следствие того, что только в последние десятилетия выявилась необходимость осознанной организации процессов движения и обработки того, что имеет общее название «Информация». Между тем само понятие «Информации» во многом остается интуитивным и получает различные смысловые наполнения в различных отраслях человеческой деятельности.
Из этого определения следует два наиболее общих свойства Информации. Первое – Информация не может существовать вне взаимодействия объектов. Второе – Информация не теряется ни одним из них в процессе этого взаимодействия.
Киберне́тика(от др.-греч. κυβερνητική — «искусство управления») — наука об общих закономерностях процессов управления и передачиинформации в различных системах, будь то машины, живые организмы или общество. Начало в истории кибернетики Норберт Винер, профессор математики Массачусетсского технологического института, когда опубликовал в 1948 г. свою знаменитую книгу “Кибернетика, или управление и связь в животном и машине”. Казавшаяся вначале только сенсацией, кибернетика превратилась в настоящее время в обширную и влиятельную отрасль мировой науки.
Системный подход— направление методологии исследования, в основе которого лежит рассмотрение объекта как целостного множества элементов в совокупности отношений и связей между ними, то есть рассмотрение объекта как системы.
Это некий способ организации действий для любого рода деятельности, выявляет закономерности и взаимосвязи с целью их эффективного использования. Системный подход является не столько методом решения задач, сколько методом постановки задач.
Основные принципы системного подхода (системного анализа):
- Целостность, позволяющая рассматривать одновременно систему как единое целое.
- Иерархичность строения, т.е. наличие множества элементов, расположенных на основе подчинения элементов низшего уровня — элементам высшего уровня. Реализация – конкретная организация.
- Структуризация, позволяющая анализировать элементы системы и их взаимосвязи в рамках конкретной организационной структуры.
- Множественность, позволяющая использовать множество кибернетических, экономических и математических моделей для описания отдельных элементов и системы в целом.
Исходными в информатике являются понятия сигнала и информации, взятые из теории информации, а также понятия управления и системы, развитые в кибернетике и теории систем. Информатика изначально базируется на теории информации, кибернетики и системного подхода.
Поскольку информатика занимается вопросами получения, переработки, передачи информации, то генетически исходной для нее является теория информации.
Одними из первых работ по теории информации были работы К. Шэннона по математической теории информации. Но это исходное представление об информации значительно расширилось в кибернетике, где под ней стала пониматься любая совокупность сигналов и сведений, которые воспринимаются и выдаются определенной системой при ее взаимодействии с окружающей средой или же хранятся и перерабатываются в ней.
Общая теория систем, сформулированная в середине 1940-х гг. Л. фон Берталанфи на основе организмического подхода к решению проблемы соотношения части и целого, явившейся обобщением, прежде всего биологических, зоологических и частично экосистем.
Винер развил кибернетический подход, исследуя общность процессов регулирования и информационного обмена и у животных, и у машин, считая, что автоматы взаимодействуют, как и организмы, с окружающей средой, т.е. могут принимать и запоминать внешние образы, имея датчики и эквивалент нервной системы, и даже корректировать свою деятельность, а потому могут быть объединены в одну общую теорию — кибернетику. Согласно этой теории, механизм обратной связи является основой целенаправленного поведения как созданной человеком машины, так и живого организма и социальной системы. Берталанфи возражал ему, считая, что в данном случае технические системы являются открытыми для обмена информацией, а не энергией и материей, как у органических систем.
Поможем написать любую работу на аналогичную тему
Реферат
Становление информатики как междисциплинарного направления: кибернетика, теория информации и системный подход
От 250 руб
Контрольная работа
Становление информатики как междисциплинарного направления: кибернетика, теория информации и системный подход
От 250 руб
Курсовая работа
Становление информатики как междисциплинарного направления: кибернетика, теория информации и системный подход
От 700 руб