Этапы развития искусственного интеллекта.

Начальный этап развития ИИ – эвристические программы. Этот этап связан с разработкой программ, применяющих разнообразные эвристические методы. Эвристический метод решения задач при этом рассматривался, как свойственный человеческому мышлению для которого характерно возникновение догадок о пути решения задачи, с последующей их проверкой. В это же время был сформирован бионический подход. Он был представлен простейшими нейронными сетями, и не получил своего развития. Параллельно проводились исследования на основе расширения математической и символьной логики. На развитие этой области большое влияние оказало появление метода резолюции Робинсона, основанного на доказательстве теорем в логике предикатов, и являющегося теоретически исчерпывающим методом доказательства. Таким образом основное внимание в исследованиях по ИИ переместилось с разработки методов воспроизведения человеческого мышления на разработку машинно-ориентированных методов решения человеческих задач. Основные трудности при этом были связаны с проблемами описания знаний о внешнем мире, организацией их хранения, эффективного поиска, добавление новых значений, устранение устаревших значений, проверки полноты и непротиворечивости и т.д.

Второй этап. Интегральные роботы.

Необходимость исследования систем ИИ при их исследовании в реальном мире привела к постановке задачи создания интегральных роботов. При разработке таких проектов решались не отдельные задачи ИИ, а исследовался и реализовывался необходимый спектр интеллектуальных функций таких как организация целенаправленного поведения, восприятие информации о внешней среде, формирование действий, обучение и общение. Проведение экспериментов в реальных условиях показало необходимость пересмотра вопросов связанных с проблемой представлений знания о среде функционирования и недостаточную исследованность таких проблем как зрительное восприятие, построение сложных планов поведения, общение на естественном языке и так далее.

Третий этап. Экспертные системы.

Его характерной чертой явилось смещении центра внимания исследований от создания автономно функционирующих систем к созданию человекомашинных систем, интегрирующих в единое целое интеллект человека и способности вычислительных машин. Такое смещение обусловлено 2-мя причинами:
1) к этому времени выяснилось, что даже простые на первый взгляд задачи возникающие перед интегральными роботами при их функционировании в реальном мире не могут быть решены методами, разработанными для экспериментальных задач в специально сформированных проблемных средах
2) стало ясно что сочетание, дополняющих друга друга возможностей человека и ЭВМ позволяют устранить недостатки, путем перекладывания на человека тех функций которые пока не доступны для ЭВМ. Вычислительная машина со своей стороны способна обрабатывать большие объемы информации с использованием регулярных методов, многократно рассматривать различные пути решения, предлагаемые человеком и предоставлять ему всевозможную справочную информацию. Наиболее распространенной человекомашиной системой ИИ являются экспертные системы. Для их реализации были разработаны многочисленные модели и языки представления знаний, специальные языки программирования и символьные ЭВМ. Появления экспертных систем позволило привести разработки в области ИИ в области реализации практических программных комплексов.

Четвертый этап. Нейронные сети.

Характеризуется ростом интереса к бионическому направлению и в первую очередь к нейронным сетям (НС). Это было обусловлено несколькими причинами:
1) сложность представления знания и обучения в экспертных системах (ЭС), что заставило обратиться к изучению того, как это делает человек.
2) нейробиологи и нейроанатомы к этому времени достигли значительного прогресса в изучении структуры и функции нервной системы человека, они значительно расширили свои знания об организации восприятия, мышления, памяти и моторики
3) к этому времени был решен ряд теоретических проблем в области обучения многослойных нейронных систем сформулированных на 1 этапе и преодолен ряд технологических вопросов.

Искусственная нейронная сеть имитирует естественный прототип, который играет главенствующую роль в организации высшей нервной деятельности человека. Лучшее понимание функционирования нейрона и картины его связи, позволило исследователям создать математические модели для проверки своих теорий. Параллельно психологами были созданы модели человеческого обучения. Одной из таких моделей оказавшийся наиболее плодотворным была модель Хэба, который предложил закон обучения, явившейся стартовой точкой для алгоритмов обучения искусственных нейронных сетей. Были разработаны сети, состоящие из одного слоя нейронов, которые широко применялись на практике. Однако было доказано, что используемые в то время однослойные нейронные сети теоретически не способны решить многие теоретические задачи. Поэтому постепенно появился теоретический фундамент на основе которого сегодня строятся наиболее мощные многослойные сети. Потенциальными приложениями нейронных сетей являются те, где человеческий интеллект мало эффективен, а обычные вычисления трудоемки и неадекватны. Этот класс приложений не меньше класса обычных вычислений. Одним из перспективных направлений развития нейронных сетей являтся интеграции с экспертными системами.

Прежде чем искусственные нейронные сети можно будет использовать для решения важных задач должны быть решены вопросы относящиеся к их надежности. Подобно людям структуру мозга которых они копируют искусственные нейронные сети сохраняют в какой-то мере непредсказуемость. Единственный способ точно знать выход состоит в испытании всех возможных сигналов. В большой сети такая полная проверка практически неосуществима и должны использоваться статистические методы для оценки функционирования, то есть основной проблемой нейронных сетей является неспособность объяснить как они решают задачу. Внутреннее представление получающееся в результате обучения часто настолько сложно, что его невозможно проанализировать за исключением самых простых случаев. Эта особенность нейронных сетей противопоставляется возможностям экспертных систем которые могут проследить процесс своих рассуждений для проверки разумности полученного результата. Наибольшее распространение нейронные сети получили в прогнозирующих и аналитический программах. Нынешнее распространение – в системах распознавания. Тем не менее задача обучения новым знаниям нейронные сети не могут решать эффективно. Причина этого сложность предоставления и организация знаний (значительные размеры сети), трудность извлечения знаний и неоптимальные процедуры обучения.

5 этап. Нечеткая Логика

Начало пятого этапа развития ИИ связано с активным применением математического аппарата нечеткой логики для р заложены в трудах математика Заде. В то время популярными были эксперименты с мажоритарными пространствами в которых намеренно устранялось понятие меры и вместо него вводился ряд качественных факторов (типо квантора большинства – прообраз первых нечетких утверждений) аналогичные явления можно наблюдать в модальных логиках. Исследование подобного рода были вызваны потребностью в переводе нечетких утверждений на язык четких математических формул. Первым шагом в этом направлении явилась теория нечетких множеств разработанная Задэ. Аппарат теории нечетких множеств продемонстрировав ряд многообещающих возможностей применения, оказался вместе с тем чрезвычайно сложным для воплощения при современном уровне технологий. 2 этап развития нечеткой логики был определен исследованиями создания электронных систем использующих нечеткие управляющие алгоритмы. Наибольшую роль сыграли 2 научных результата:
1) доказательство FAT теорема и комбинация нечеткой логики с нейронными сетями Кохонена, указавший на наиболее узкие места новой теории автоматизированного формирования системы нечетких правил по содержимому входных правил. Теорема FAT (fuzzy approximation theorem) доказывает что любая математическая система может быть аппроксимирована системой основанной на нечеткой логике, результатом применения данных достижений явилось появление целого ряда новых массовых микрочипов основанных на нечеткой логике. Новый подход к представлению знаний не только повысил эффективность многих технических решений, но и упростило задание правил в системах основанных на знаниях. В настоящее время появились и стали активно развиваться и другие математические аппараты (теория доверия, возможности, интервальных множеств и др.), направленными на преодоление классической логики.

6 этап. Эволюционный подход

Начало 6 этапа связано с ростом интереса к использованию генетических алгоритмов, для эффективного обучения широкого класса нейронных сетей. Изначально этот этап был нейрогенетическим, однако необходимость усовершенствования генетических алгоритмов оказала влияние на увеличение интереса к другим направлениям и полученным достижениям в области эволюционного подхода. Вместе с тенденцией к автономности интеллектуальных систем это привело к значительному расширению нейрогенетической парадигмы. Генетические алгоритмы основаны на предположении что вычислительная система наделенная простыми механизмами изменчивости и отбора могла бы функционировать по аналогии с законами эволюции в природных системах. Это стало причиной появления ряда вычислительных систем построенных на принципа естественного отбора. В 70 годах в рамках теории случайного поиска был предложен ряд алгоритмов, использующих идеи бионического поведения особей. Развитие этих идей нашло отражение в цикле работ по эволюционному моделированию, развивая идеи Цетлина о целесообразном и оптимальном поведении стохастических автоматов было предложено осуществлять поиск глобального экстремума на основе коллектива независимых автоматов, моделирующих процессы развития и элиминации особей. Несмотря на разницу подходов каждая из этих школ, взяла за основу ряд принципов существующих в природе и упростила их до возможности реализовать на компьютере. Главная трудность построения вычислительных систем основанных на принципах естественного отбора и их применением в прикладных задачах состоит в том что природные системы достаточно хаотичны и не носят четкую направленность, то есть обычно компьютер используется как инструмент для решения определенных задач в которых акцентируется внимание на максимально быстром выполнении действий при минимальных затратах. Природные системы не имеют никаких таких целей или ограничений. Выживание в природе не направлено к некоторой фиксированной цели, вместо этого эволюция совершает шаг вперед в любом доступном направлении. Условия направленные на моделирование эволюции можно разбить на 2 большие категории:
- системы которые смоделированы на биологических принципах. Они успешно использовались для задач типа функциональной оптимизации и могут легко быть описаны на небиологическом языке
- системы которые являются биологически более реалистичными, но которые не являются полезными в прикладном смысле. Они более похожи на биологические системы и менее направлены

Эти категории 2 полюса подхода между которыми лежат различные вычислительные системы. Ближе к первому полюсу находятся эволюционные алгоритмы такие как эволюционное программирование генетические алгоритмы и эволюционные стратегии. Ближе ко 2 полюсу системы которые могут быть классифицированы как искусственная жизнь. Генетические алгоритмы это адаптивные методы поиска которые в основном используются для решения задач функциональной оптимизации. Они основаны на генетических процессах биологических организмов: биологические популяции развиваются в течении нескольких поколений, подчиняясь законам естественного отбора и по принципу выживает наиболее приспособленный, открытому Дарвином. Гены от высокого адаптированных или приспособленных особей будут распространяться в увеличивающемся количестве потомков на каждом послудеющем поколении. Комбинация хороших характеристик от различных родителей может привести к появлению суперприспособленного потомка. Таким образом вид развивается и лучше приспосабливается к среде обитания. Генетические алгоритмы работают с совокупностью особей – популяцией, каждая из которых представляет возможное решение данной проблемы. Каждая особь оценивается мерой ее приспособленности. Наиболее приспособленные особи получают возможность воспроизводить потомство. Свойства которыми обладают наименее приспособленные особи будут постепенно исчезать из популяции в процессе эволюции. Скрещивание наиболее приспособленных особей приводит к тому, что исследуются наиболее перспективные участки пространства поиска, в итоге популяция будет сходиться к оптимальному решению задачи. В настоящее время пот термином генетические алгоритмы понимают не одну модель, а достаточно широкий класс алгоритмов, отличающихся реализацией представлений и операторов. Генетические алгоритмы не гарантируют обнаружение глобального решения за полиномиальное время. Однако они хороши для поиска достаточно хорошего решения задачи достаточно быстро, а также являются универсальными.

Тенденции дальнейшего развития области ИИ.

В рамках 1 тенденции которая остается неизменной в течении всей истории развития ИИ можно отметить процесс выделения и смещения направления ИИ в отдельные или другие научные дисциплины. Особенностью современной формы этой тенденции являются разделение области не только по направлениям (методологиям) исследования и разработки но и по прикладными аспектам ( ИС в экономике медицине и тд) кроме того можно заметить наметившиеся разделения ИИ на 2 уровня
направленные на широкую аудиторию (на узкоспециализированных специалистов профессионалов)
второй тенденцией является обновление парадигмы 2 этапа развития интеллекта, соответствующей задаче создания интегральных роботов, т е создания автономных роботов интегрирующих множество различных интеллектуальных функций и способных функционировать в реальных условиях
в качестве третьей тенденции можно выделить смежную область создания интеллектуальных компьютерных программ называемых компьютерными агентами. Актуальной является идея создания интеллектуального сообщества
четвертой тенденцией является создание естественно-языковых систем. Естественно языковой процессор позволит преодолеть сложности взаимодействия человека и компьютера, даст возможность извлечения знаний из текстов без использования специальных устройств, увеличив производительность и эффективность взаимодействия компьютерных программ с помощью более гибких языков.

Пятой тенденцией является внедрение в область ИИ новых достижений нейронауки и генетики. Основные усилия исследователей человеческого мозга направлены сейчас на изучение интеллектуальных функций и особенно памяти человека.
шестой тенденцией является внедрение разработок в творческую деятельности человека.

Модельно интеллектуальные системы. Системы считаются интеллектуальными если в них реализованы 3 базовые функции :
- функция предоставления и обработки знаний, то есть накопление знаний об окружающем мире, классификация и оценивание их с точки зрения прагматики и непротиворечивости, инициирования процессов получении новых знаний и соотношения новых звананий со знаниями хранящимися в базе знаний
- функция рассуждения, то есть формирования новых знаний с помощью логического вывода и механизмов появления закономерностей в накопленных знаниях, получения обобщенного знания на основе частных знаний и логическое планирование своей деятельности
- функция общения, то есть способность общаться с человеком на языке близком к естественному языку и получению информации через каналы аналогичные тем которые использует человек, умение формировать объяснение собственной деятельности. Функциональная модель интеллектуальной системы представлена на рисунке
в рамках этой функциональной модели:

1. Интеллектуальный интерфейс обеспечивает общение с внешней средой и преобразование информации из внешнего во внутреннее и обратно.

2. Подсистема логического вывода на основе анализа семантики входных сообщений и имеющихся знаний формулируют постановку задачи, осуществляет поиск вариантов ее решения и выбирает из них наилучшее.

3. Генератор программ формирует программу решения используя знания о методах решения задач;

4. Интерпретатор задач обеспечивает выполнение сгенерированных программ;

5. База знаний обеспечивает хранение и доступ к различным видам знаний, используемым интеллектуальной автоматизированной системой при ее функционировании.

Выделяют следующие виды знаний:

1. Интерфейсное – знание о взаимодействии с окружающей средой;

2. Проблемные – знание о предметной области;

3. Процедурные – знание о методах решения задач;

4. Структурное – знание об операционной среде;

5. Метазнания – знания о свойствах знаний.

Нейронные сети:

Искусственные нейронные сети – это совокупность моделей биологических нейронных сетей, представляют собой сеть элементов - искусственных нейронов, связанных между собой синоптическими соединениями. Нейронная сеть обрабатывает входную информацию и в процессе изменения своего состояния во времени формирует совокупность выходных сигналов. Чтобы отразить суть биологических нейронных сетей определение искусственного нейрона дается следующим образом

Он получает входных сигналы (исходные данные либо выходные сигналы других нейронов нейронной сети) через несколько входных каналов. Каждый входной сигнал проходит через соединение имеющее определенную интенсивность (вес). С каждый нейроном связано определенное пороговое значение. Вычисляется взвешенная сумма входов формула (1)

Из нее вычитается пороговое значение и в результате получается величина активации нейрона. Сигнал активации преобразуется с помощью функции активации (передаточной функции) и в результате получается выходной сигнал нейрона формула (2), где x_i – входные сигналы, совокупность всех сигналов нейрона образуют вектор x. w_i – весовые коэффициенты, совокупность всех весовых коэффициентов образуют вектор w. NET – взвешенная сумма входных сигналов. Значение NET передается на нелинейный элемент. Тетта – пороговый уровень данного нейрона, F – нелинейная функция активации и OUT выходной сигнал.

Основные виды функции активации: 1 столбец (1-4) 2 столбец (5-6)

1. Жесткая ступенька используется в классическом формальном нейроне. Вычисляется 2-3 машинными инструкциями. Поэтому нейроны с такой нелинейностью требуют малых вычислительных затрат. Эта функция чрезмерно упрощена и не позволяет моделировать схемы с непрерывными сигналами. Отсутствие первой производной затрудняет применение для градиентных методов для обучения таких нейронов

2. Логическая сигмоида. Применяются очень часто для многослойных персептронов и других сетей с непрерывными сигналами. Важные положительные качества это гладкость и непрерывность функции. Непрерывность первой производной позволяет обучить сеть непрерывными . функция симметрична относительно точки NET=0 OUT=1/2. Что делает равноправным значение OUT=0, OUT=1. Что существенно в работе сети. Тем не менее диапазон выходных от 0 до 1 несимметричен из-за этого обучение замедляется. Данная функция является сжимающей поэтому диапазон сигналов с которыми нейрон работает без насыщения оказывается широким.

3. Гиперболический тангенс. Также часто применяется для сетей с непрерывными сигналами. Функция симметрична относительно точки (0; 0) что является преимуществом по сравнению с сигмоидой. Производная также непрерывна и выражается через саму функцию.

4. Пологая ступенька. Данная функция легко рассчитывается но имеет разрывную первую производную, что усложняет алгоритм обучения.

5. SOFTMAX – функция суммирование производится по всем нейронам данного слоя сети. Такой выбор функции обеспечивает сумму выходов слоя равную 1 при любых значениях сигналов NET_i данного слоя. Это позволяет трактовать OUT_i как вероятности событий совокупности которых (все выходы слоя) образуют полную группу. Это полезное свойство позволяет применить SOFTMAX функция в задачах классификации проверки гипотез распознавания образов и во всех других где требуется выход-вероятности.

6. Гауссова кривая. Применяется в случаях, когда реакция нейрона должна быть максимальной для некоторого определенного значения NET.

7. Линейная функция OUT = K NET где K константа. Применяется для тех моделей сетей, где не требуется последовательное соединение слоев нейронов друг за другом.

Выбор функции активации определяется:

1. Спецификой задачи;

2. Удобством реализации на ЭВМ или в виде электрической схемы;

3. Алгоритмом обучения (некоторые алгоритмы накладывают ограничения на вид функции активации).

Нейронная сеть представляет собой совокупность нейронов и в зависимости от функции, выполняемых нейронами в сети выделяют:

1. Входные нейроны на которые подается вектор кодирующий входное воздействие или образ внешней среды, в них обычно не осуществляется вычислительных процедур, а информация передается с входа на выход путем изменения их активации;

2. Выходные нейроны. Выходные значений которых представляют выходы нейронной сети. Преобразование в них осуществляется по формулам 1 и 2.

3. Промежуточные нейроны составляющие основу нейронных сетей. Преобразования в низ также осуществляется по формулам 1 и 2.

В большинстве нейронных моделей тип нейрона связан с его расположением в сети. Если нейрон имеет только выходные связи то это входной нейрон, а если только входные то это входной. Однако возможны ситуации когда выход топологически внутреннего нейрона рассматривается как часть выхода в сети. В процессе функционирования сети осуществляется преобразование входного вектора в выходной. Конкретный вид выполняемого сетью преобразования обуславливается не только характеристиками нейронов, но и особенностями ее архитектуры, а именно топологией межнейронных связей, выбором определенных подмножеств нейронов, для ввода и вывода информации, способами обучения сети, наличием или отсутствием конкуренции между нейронами, направлением и способами управления и синхронизацией передачи информации между нейронами. С точки зрения топологии выделяют 3 основных типа топологии сети.

а) полносвязный

б) многослойные или слоистые

в) слабо связный с локальными связями

в полносвязных нейронных сетях каждый нейрон передает свой выходной сигнал остальным нейронам выходным нейронам в том числе и самому себе. Выходными сигналами сети могут все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети. В многослойные нейронных сетях нейроны объединяются в слои. Слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в слое может быть любым и не зависит от количества нейронов в других слоях. В общем случае сеть состоит из q слоев пронумерованных слева направо. Внешние входные сигналы подаются на входы нейронов входного слоя (его часто нумеруют как нулевой) а выходами сети являются выходные сигналы последнего слоя. Кроме входного и выходного слоев в многослойной НС есть один или несколько скрытых слоев. Связи от выходов нейронов некоторого слоя i к входам нейронов след слоя i+1 называются последовательными. В свою очередь среди многослойных сетей выделяют следующие типы:

1. Монотонные – частный случай слоистых сетей с дополнительными условиями на связи и нейроны. Каждый слой кроме последнего разбит на 2 блока: возбуждающий и тормозящий связи между нейронами также разделяются на тормозящие и возбуждающие. Если от нейронов блока «a» к нейронам блока «b» ведут только возбуждающие связи то это означает что любой выходной сигнал блока является монотонной неубывающей функцией любого выходного сигнала блока «a». Если же эти связи только тормозящие. То любой выходной сигнал блока b является невозрастающей функцией любого выходного сигнала блока а. то есть для нейронов монотонных сетей необходима монотонная зависимость выходного сигнала от параметров входного сигнала

2. Сети без обратных связей. В таких сетях нейроны входного слоя получают входные сигналы сети, преобразуют и передают их нейронам первого скрытого слоя и так далее до выходного слоя который выдает сигналы до интерпретатора и пользователя. Если не оговорено противное, то каждый выходной сигнал i-того слоя подается на вход всех нейронов i+1-го слоя. Также возможен вариант соединения i-того слоя с произвольным i+p-тым слоем. Среди многослойных сетей безобразной связи различают полносвязные и частично полносвязные. Классическим вариантом слоистых сетей являются полносвязные сети прямого распространения – персептроны

Сеть состоит из произвольного количества слоев нейрона. Нейроны каждого слоя соединяются с нейронами предыдущего и последующего слоев по принципу каждый с каждым. Первый слой называется сенсорным или входным, внутренние слои называются скрытыми или ассоциативными и последний слой называется выходом или результативным. Количество нейронов в слоях может быть произвольным. Обычно во всех скрытых слоях одинаковое количество нейронов. N₁- количество нейронов во входном слое

N_H – количество нейронов в каждом скрытом слое и N_О – количество нейронов в выходном слое

X вектор входного сигнала сети Y- вектор выходного сигнала сети. Входной слой не выполняет никаких вычислений а только распределяет входные сигналы. N_L- количество слоев в сети считая входные. Работа многослойного персептрона описывается формулами из картинки.

Где i-номер входа, j – номер нейрона в слое, l –номер слоя, j-нейрона

x_ijl - i тый входной сигнал l-го слоя

w_ijl - весовой коэффициент i-того входа j-того нейрона l-того слоя

NET_jl - взвешенная сумма j-того нейрона l-того слоя

OUT – выходной сигнал j-

Θ_jl – Пороговый уровень j-того нейрона – l-того слоя

x_ijlx_ij(l+1)

каждый слой рассчитывает нелинейное преобразование от линейной комбинации сигналов предыдущего слоя. Отсюда очевидно что линейная функция активации может применяться только для тех моделей сети где не требуется последовательное соединение слоев нейронов друг за другом. Для многослойной сети функция активации должна быть нелинейной иначе можно построить эквивалентную однослойную сеть и многослойность оказывается не нужной. Если применена линейная функция активации то каждый слой будет давать на выходе линейную комбинацию входов. Следующий слой дает линейную комбинацию выходов предыдущего, а это эквивалентно одной линейной комбинации с другими коэффициентами и может быть реализовано в виде одного слоя нейронов.

3. Сети с обратной связью. В сетях с обратной связью информация с последующих слоев передается на предыдущие. Среди них выделяют следующие виды

Слоисто-циклические, слои замкнуты в кольцо, то есть последний слой передает свои сигналы первому. Все слои равноправны и могут получать как входные сигналы так и передавать входные сигналы сети;

Слоисто-полносвязные. Состоят из слоев каждый из которых представляет собой полносвязную сеть, а сигналы передаются как от слоя к слою так и внутри слоя. В каждом слое цикл работы разделяется на 3 части:

-прием сигналов от предыдущего слоя;
-обмен сигналами внутри слоя;
-выработка выходного сигнала и передача последующему слою.
полносвязно-слоистые. По своей структуре аналогичны слоисто-полносвязным, но функционируют по другому: в них не разделяют фазы обмена внутри слоя и передачи следующему слою. На каждом такте нейроны всех слоев принимают сигналы от нейронов своего слоя так и последующих:

а) Сети Элмана и б) Сети джордана

Слабо связные. В слабосвязных нейронных сетях нейроны располагаются в прямоугольной и гексагональной решетке. Каждый сосед связан с 4-мя (окрестность фон-неймана) 6-ю (окрестность Голея) или 8-ю (окрестность Мура) своими ближайшими соседями. Известные нейронные сети можно разделить по типам структур нейронов, на гомогенные (однородные) гетерогенные.

Гомогенные сети состоят из нейронов одного типа с 1 функцией активации.

Гетерогенные сети состоят из нейронов с различными функциями активации.