ПИОС − почти интеллектуальная обучающая система
В статье рассматривается модель почти интеллектуальной обучающей системы. Анализируются возможности
 агентов такой системы и ее применение в обучении с использованием Web-сервисов. У статті розглядається модель майже інтелектуальної навчальної системи. Аналізуються можливості
 агенті...
Saved in:
| Date: | 2009 |
|---|---|
| Main Author: | |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут проблем штучного інтелекту МОН України та НАН України
2009
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/8192 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | ПИОС − почти интеллектуальная обучающая система / В.П. Бурдаев // Штучний інтелект. — 2009. — № 4. — С. 330-337. — Бібліогр.: 7 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860245661608312832 |
|---|---|
| author | Бурдаев, В.П. |
| author_facet | Бурдаев, В.П. |
| citation_txt | ПИОС − почти интеллектуальная обучающая система / В.П. Бурдаев // Штучний інтелект. — 2009. — № 4. — С. 330-337. — Бібліогр.: 7 назв. — рос. |
| collection | DSpace DC |
| description | В статье рассматривается модель почти интеллектуальной обучающей системы. Анализируются возможности
агентов такой системы и ее применение в обучении с использованием Web-сервисов.
У статті розглядається модель майже інтелектуальної навчальної системи. Аналізуються можливості
агентів таких систем і їхнє застосування в навчанні з використанням Web-сервісів.
In paper the model of almost intellectual training system is considered. The opportunities of agents of such
system and its application in training with use of Web-services are analyzed.
|
| first_indexed | 2025-12-07T18:36:26Z |
| format | Article |
| fulltext |
«Искусственный интеллект» 4’2009 330
7Б
УДК 004.08
В.П. Бурдаев
Харьковский национальный экономический университет, г. Харьков Украина
burdaevvp@mail.ru
ПИОС − почти интеллектуальная
обучающая система
В статье рассматривается модель почти интеллектуальной обучающей системы. Анализируются возможности
агентов такой системы и ее применение в обучении с использованием Web-сервисов.
Введение
Интеллектуализация компьютерного обучения предполагает использование мето-
дов и моделей представления знаний на базе систем, основанных на знаниях. Поскольку
современным компьютерным системам обучения еще далеко до человеческого интел-
лекта, то корректно к ним применять термин «почти интеллектуальные системы» – так
называемые системы обучения с элементами искусственного интеллекта. Кроме того,
следует учитывать ограниченность современных компьютерных обучающих систем по
сравнению с креативным преподавателем.
Web-сервисы представляют собой стандартное решение возможности пересылки
данных, объектов между множеством компьютеров с разными операционными систе-
мами (клиенты, серверы приложений). Использование Web-сервисов при создании почти
интеллектуальных обучающих систем для дистанционного обучения является перспектив-
ной областью исследования.
Современные требования, которые предъявляются к компьютерным обучающим
системам, состоят в следующем:
использование баз знаний;
адаптация учебного контента к конкретному обучаемому;
соответствие контента международным стандартам в сети Интернет.
Обзор и классификация интеллектуальных обучающих систем для Web-технологий
рассмотрен в работе [1].
Целью данной работы является анализ модели почти интеллектуальной
обучающей системы.
Модель ПИОС
Экспертная система (ЭС) – это компьютерная система, позволяющая на основе
базы знаний, составленной экспертами из конкретной предметной области, с помощью
логического вывода решить поставленную задачу. Основные компоненты ЭС: база
знаний; база фактов; редактор базы знаний; машина логического вывода; подсистема
объяснения; интерфейс пользователя и инженера знаний.
С точки зрения обучения, именно подсистема объяснения ЭС, позволяющая
выполнить трассировку логического вывода, ответить на вопросы пользователя «КАК»
и «ПОЧЕМУ», привлекательна для индивидуального процесса овладения знаниями.
ПИОС − почти интеллектуальная обучающая система
«Штучний інтелект» 4’2009 331
7Б
Такая подсистема располагает к доверию выводам и аргументациям ЭС. Использование
ЭС позволяет значительно усилить интеллектуальный потенциал человека в решении
многих профессиональных проблем. Именно компонента объяснения выдвигает ЭС
на первый план по применению решения неформализованных задач по сравнению с
технологиями нейронных сетей, которые могут решать и лучше аналогичные задачи,
но интерпретировать и объяснять выводы не способны.
Компьютерная система «КАРКАС» позволяет как разрабатывать прототипы ЭС,
так и может быть использована для адаптированного тестирования и обучения студентов
по локальной сети [2-7].
Основными компонентами «КАРКАС» являются следующие: редактор базы
знаний (БЗ); машины логического вывода (прямой, обратный, косвенный вывод,
формула Байеса); подсистема объяснения; анализатор теста; модуль преподавателя;
подсистема обучения.
Программная реализация основана на использовании клиент-серверной технологии
на основе программирования сокетов. При этом система реализует клиент-серверное
взаимодействие: толстый клиент – тонкий сервер, то есть серверная часть реализует
только доступ к ресурсам системы (идентификация ученика, установление связи с
ним и получениe оценок теста от него), а основная часть приложения (машина
вывода, объяснение, база знаний) находится на клиенте.
Основная задача системы «КАРКАС» – это предоставление возможности при-
обретения студентом знаний, умений, навыков по разработке БЗ и созданию прототипов
ЭС самостоятельно [5], а также для обучающего тестирования.
Большинство коммерческих задач финансов и бизнеса решаются быстрее и
понятней для пользователей с помощью деревьев решений, чем с помощью процедур
нейронных сетей.
Экспертная обучающая система (ЭОС) – это компьютерная программа, построенная
на основе знаний экспертов предметной области (квалифицированных преподавателей,
методистов, психологов), осуществляющая и контролирующая процесс обучения.
Назначение такой системы состоит в том, что она, с одной стороны, помогает препо-
давателю обучать и контролировать учащегося, а с другой учащемуся самостоятельно
обучаться.
Основными компонентами ЭОС являются: база знаний; машина вывода; подсис-
тема объяснения; модуль обучения; модуль тестирования.
Компонента обучения представляет собой комплекс программных модулей, реа-
лизующих различные механизмы вывода для достижения педагогической цели в обуче-
нии. ЭОС в отличие от других компьютерных средств обучения обладают интерактив-
ностью: имеют диалог с обучаемым, построенный на основе применения правил и фреймов
из базы знаний.
В системе «КАРКАС» построение диалога строится на основных психологических
принципах обучения: использование психологических и психофизиологических харак-
теристик каждого ученика; дружественный интерфейс; выход из диалога в любой мо-
мент; своевременная и мотивированная помощь.
Модуль индуктивного обучения (обучения на примерах) предъявляет обучаемому
задачи, которые кластеризированы по своей сложности. Например, вначале обучаемому
предлагаются простые задачи, которые снабжены только рекомендациями и указания-
ми. Далее, в случае необходимости, могут быть предложены полные решения задачи.
Сложные задачи в процессе обучения подвергаются декомпозиции и предлагаются
для решения покомпонентно.
Бурдаев В.П.
«Искусственный интеллект» 4’2009 332
7Б
Модуль обучения по аналогии позволяет приобретать знания путем преобразования
существующих знаний, похожих на те, которые собираются получить. Например,
обучаемому предлагается готовое решение некоторой задачи. Затем формулируется
другая задача, которая предполагает использование аналогичного метода решения
предыдущей задачи. Кроме того, без применения удачных аналогий невозможно
обучать абстрактные объекты, которые, как правило, требуют наглядности.
Одним из важных элементов в обучении является контроль усвоения знаний,
умений и навыков. Для этого предназначена компонента – адаптивное тестирование,
которая обеспечивает обратную связь в модели «учитель ученик» и позволяет гене-
рировать тесты.
В системе «КАРКАС» режим тестирования и обучения автоматически формирует
протокол прохождения как обучения, так и тестирования. Такой протокол позволяет
анализировать, отлаживать процесс обучения и тестирования и является документом,
служащим для разрешения различных разногласий между компьютерной системой и
тестирующим. Кроме того, известно, что совпадение ответов на одинаковые вопросы
не является доказательством совпадения способов рассуждений. Поэтому еще одна
возможность использования протокола это анализ с его помощью методов и спосо-
бов использования имеющихся знаний обучаемого при решении задач в процессе об-
учения. Такая методика может быть использована для извлечения знаний обучаемого
с целью определения стратегии и тактики его дальнейшего обучения.
Объяснение и анализ ошибок обучаемого (обратная связь «учитель ученик») яв-
ляется сложной проблемой компьютерного обучения. Одним из способов получения объяс-
нения являются подготовленные заранее объяснения. Другими словами, прогнозируются
типичные ошибки на вопросы и на решения задач, и в случае их возникновения во вре-
мя процесса обучения предъявляются обучаемому. Второй способ заключается в том,
что при анализе ответов объяснения извлекаются из них, и по полученным ответам
определяется знание предмета изучения. Другими словами, строится база антизнаний,
которая позволяет с помощью машины вывода дать развернутое объяснение результа-
там обучения и тестирования. Для этого используют различные анализаторы, например,
репертуарные решетки.
Недостатком ЭОС являются невозможность автоматического пополнения базы зна-
ний и ограниченные методы организации диалога с обучаемым.
Самообучающиеся интеллектуальные системы (ЭС, основанные на прецедентах)
пополняют БЗ, исходя из накопленного опыта. Такие системы основаны на методах
кластеризации ситуаций из реальной практики, на методах индуктивного обучения
(обучение на примерах), на поиске решений по аналогии из базы данных (принятие
решения на основе прецедентов).
В связи с развитием Web-технологий ЭОС мигрируют в дистанционное обучение
и поддерживают парадигму мультиагентных систем, которая базируется на способности
таких систем к развитию и общению в соответствии с объективными изменениями
предметной области. Другими словами, многоагентные системы − это совокупность
самообучающихся, динамических ЭС, которые могут функционировать как коллективно,
так и в отдельности.
Мультиагентный подход при создании ПИОС основывается на построении системы
как совокупности следующих агентов: контента, учителя, ученика, анализатора контроля
знаний, агента объяснения, агента доски объявления (Blackboard), агента адаптивного
обучения, агента адаптивного тестирования. Таким образом, все управление учебным
процессом осуществляется коллективом агентов, который адаптируется под конкрет-
ПИОС − почти интеллектуальная обучающая система
«Штучний інтелект» 4’2009 333
7Б
ного ученика и преследует его цели обучения. Основными компонентами агента яв-
ляются:
база знаний;
логический вывод;
интерфейс сообщений.
Программный агент представляет собой объект, способный анализировать ситу-
ацию, принимать решения, общаться с другими агентами, информировать коллектив
агентов о результатах своих действий.
Агент программируется как демон для Unix, или как сервис для Windows, или как
Web-сервис для Internet.
База знаний программных агентов, как правило, содержит продукции, к которым
добавляется параметр времени или условия ее применения (время/когда − антенцедент –
консеквент). В отличие от ЭС и ЭОС обработка продукций осуществляется с учетом
сообщений от других агентов.
ПИОС реализует психолого-педагогические и дидактические основы обучения
с целью:
формирования мотивации к обучению у студента;
изучения дисциплины, обучения, самообучения;
тестирования и объяснения, и аргументации результатов.
Преимущества использования ПИОС на основе Web-сервисов − это повышение
эффективности индивидуального обучения в Интернете (учет способностей ученика,
темп усвоения знаний и навыков).
Основная концепция ПИОС базируется на управлении знаниями об онтологии
и методах обучения контента с целью мотивации ученика в его изучении.
Агент ученика манипулирует знаниями об ученике, отслеживает уровень сос-
тояния знаний ученика, его интересы в обучении, классифицирует тип ученика и под-
считывает рейтинг его знаний.
Функция агента ученика состоит в том, чтобы помочь обучаемому в овладении
контентом. Здесь можно использовать адаптивный интерфейс, различные роды под-
сказок, которые активизируются на основе работы правил из БЗ.
Приведем некоторые правила из БЗ агента ученика.
Правило 10. (Время/когда − предварительное знакомство)
Если A&B
A Тип ученика = Интроверт
B Уровень знаний = Начальный
Тогда
Учитель = Методика обучения преподавателя 1.
Правило 12. (Время/когда − предварительное знакомство)
Если A&B
A Тип ученика = Экстраверт
B Уровень знаний = Высокий
Тогда
Учитель = Методика обучения преподавателя 2.
Правило 15. (Время/когда − тестирование/обучение)
Если A&B
A Ученик решил задачу = на 50%
B Грубых ошибок = Нет
Тогда
Бурдаев В.П.
«Искусственный интеллект» 4’2009 334
7Б
Действие = Предоставить полное решение.
Оценка = Снизить рейтинг на 10%
Правило 23. (Время/когда − тестирование/обучение)
Если A&B
A Ученик решил задачу = на 10%
B Грубые ошибки = Есть
Тогда
Действие = Повторить задание
Оценка = Снизить рейтинг на 50%
Рисунок 1 − Функциональная схема ПИОС
Необходимость агента учителя состоит в том, что:
учителя не могут уделять много внимания каждому ученику;
подготавливать индивидуальные задания для каждого ученика;
отслеживать выполнение заданий каждым учеником.
К тому же проверка заданий занимает много времени у учителя, а ученики не
могут получить мгновенный комментарий учителя о выполнении задания.
Общепринятым методом исследования знаний ученика для выявления трудностей,
препятствующих усвоению контента, является использование тестов. Собранная ин-
формация включает сведения не только о предварительных знаниях ученика, но и о до-
машней среде, его увлечениях и так далее. Такая информация служит учителю для
оценки психологических и социальных аспектов обучения.
Структура агента учителя предполагает использование психологических и пси-
хофизиологических характеристик каждого ученика для формирования индивидуаль-
ной траектории обучения и ее адаптацию во время процесса обучения.
Интернет-контент WEB сервер
Учитель
–БЗ
–Логический вывод
Анализатор контроля знаний
–БЗ
–Логический вывод
Браузер ученика
Ученик
–БЗ
–Логический вывод
Мониторинг обучения
и тестирования
–БЗ
–Логический вывод
Web-сервисы
ПИОС − почти интеллектуальная обучающая система
«Штучний інтелект» 4’2009 335
7Б
В связи с этим каждому ученику предлагается свой агент учителя, который с по-
мощью базы знаний адаптируется к способу обучения ученика и предоставляет контент
в той последовательности, в том качестве и в том объеме, который наиболее подхо-
дит для обучения ученика.
Агент учителя устанавливается на компьютере ученика и контролирует его обуче-
ние. Сценарий обучения состоит в следующем:
1. Тестирование для оценки предварительных знаний ученика.
2. Определение психофизического типа ученика (экстраверт (E), интроверт (I), ин-
туитивист (N), сенсорик (S), мыслительный (T), чувствующий (F)) [2]. В результате теста
для ученика подбирается соответствующая траектория обучения.
3. Предоставление контента:
последовательное предоставление контента;
предоставление контента по его уровню сложности;
выбор учеником контента во время обучения;
адаптированное представление контента в зависимости от степени уровня знаний
ученика.
4. Предоставление помощи и ободрение ученика во время выполнения им лабо-
раторных, практических, научно-исследовательских работ.
5. Тестирование приобретенных навыков и знаний ученика.
6. Отслеживание действий ученика и сохранение событий взаимодействия агента
и ученика (log-файл).
7. Передача статистики об успеваемости и log-файла через Internet учителю (для
анализа и принятия решения по формированию экзаменационных требований к ученику).
В качестве мотивации ученика к обучению агент учителя может менять свое пове-
дение, внешность в зависимости от успехов обучения ученика.
Применяя технологию Macromedia Flash, можно придать агенту учителя анимиро-
ванный образ, что:
увеличит мотивацию ученика к обучению;
активизирует его восприятие контента;
укрепит доверие к получаемым сообщениям агента учителя.
Выбор персонажа агента учителя предоставляется обучаемому.
Итак, основная функция агента учителя – это изложение и объяснение контента
ученику. Например, может быть, кого-то устроит монотонное чтение лекции, а другого
наоборот – активные формы изложения контента.
Прототип агента учителя реализован на базе системы «КАРКАС» [3], [4].
Приведем некоторые правила из базы знаний агента учителя.
Правило 10. (Время/когда − анализ обучения)
Если A&B
A Раскрытие темы = Низкое
B Уровень знаний = Средний
Тогда
Действие = Подсказка.
Правило 15. (Время/когда − анализ обучения)
Если A&B
A Раскрытие темы = Высокое
B Уровень знаний = Высокий
Тогда
Действие = Одобрение.
Бурдаев В.П.
«Искусственный интеллект» 4’2009 336
7Б
Оценка = Высокая
Правило 330. (Время/когда − анализ обучения)
Если A&B&C
А Раскрытие темы = Никакое
B Уровень знаний = Низкий
C Процент правильных ответов = Ниже 30%
Тогда
Действие = Повторное обучение.
Агент учителя подбирает модель «учитель – ученик» в соответствии с педагоги-
ческой целью обучения, вырабатывает стратегию и тактику в обучении на основе
сообщений агентов ученика и анализатора контроля знаний. Например, поддерживает
следующие распространенные модели:
последовательное предоставление контента;
предоставление контента по его уровню сложности;
выбор учеником контента во время обучения;
адаптированное представление контента в зависимости от степени уровня знаний
ученика.
Построение диалога строится на основных психологических принципах обучения:
дружественный интерфейс;
выход из диалога в любой момент;
своевременная и мотивированная помощь.
Базы знаний агентов ученика и учителя взаимно дополняют друг друга, как это
происходит между теми, кто обучает и кто обучается.
Агент адаптированного тестирования предоставляет следующие возможности для
обучаемого тестирования:
генерировать тесты по сообщению от агентов ученика и учителя;
проводить тестирование как на отдельном компьютере, так и по локальной сети и
Интернету;
по каждому тестированию составлять детальный протокол;
автоматически формировать файлы протоколов и ведомостей результатов тестирова-
ния, которые могут быть использованы для хранения информации о контрольной точке
модульного контроля;
настраивать индивидуальные стратегии для тестирования:
выбирать различные темы;
осуществлять сборки по темам;
случайным образом формировать вопросы для тестов;
использовать коэффициенты значимости вопросов;
адаптировать тесты во время тестирования как в сторону повышения значи-
мости вопросов, так и в противоположную.
Агент контроля знаний осуществляет обработку сообщений от агента адаптирован-
ного тестирования, анализирует ошибочные ответы ученика на контрольные вопросы
контента, строит диаграммы ответов групп учеников. Кроме того, позволяет получить:
наглядную графическую интерпретацию тестирования: диаграммы текущей оценки,
диаграммы распределения верных и неверных ответов, диаграммы статистики ответов,
модифицированные «лица Чернова» для оценки результатов тестирования;
оценки теста по ряду показателей:
а) оценка по отношению к верным ответам;
ПИОС − почти интеллектуальная обучающая система
«Штучний інтелект» 4’2009 337
7Б
б) погрешность ответа;
в) общая оценка;
г) экспертная оценка;
д) заключительная оценка.
Агент мониторинга обучения и тестирования осуществляет отслеживание хода
обучения и тестирования на мониторе преподавателя с целью контроля учеников на
рабочем месте.
Агенты ученика и мониторинга программируются как апплеты на стороне браузера,
агенты учителя и анализатора контроля знаний – как сервлеты на стороне сервера.
Выводы
Почти интеллектуальная обучающая система (ПИОС) − это конгломерат Web-сер-
висов и методов искусственного интеллекта, педагогических, дидактических, психо-
логических, которые направлены на моделирование поведения человека в процессе
обучения.
Агенты такой системы моделируют не только поведение ученика и учителя в
процессе обучения, но обеспечивают его инфраструктуру.
Программная реализация агентов системы основана на скриптах (Java, PHP, Python),
ориентированных на удаленное исполнение приложений с использованием Web-сервисов.
Создание ПИОС поможет интеллектуализировать и индивидуализировать процесс
обучения человека, и как следствие – ускорить и улучшить его.
Литература
1. Brusilovsky P. Adaptive and Intelligent Technologies for Web-based Education / P. Brusilovsky ; [eds.
C. Rollinger, C. Peylo] // Special Issue on Intelligent Systems and Teleteaching, Konstliche Intelligenz.
№ 4. – P. 19-25.
2. Бурдаев В.П. Использование технологий искусственного интеллекта для организации дистанционного
обучения по дисциплине «Информатика и компьютерная техника» / В.П. Бурдаев // Искусственный
интеллект. – 2005. – № 3. – С. 279-286.
3. Бурдаев В.П. Адаптивная система обучения в ЭОС «КАРКАС» / В.П. Бурдаев // Искусственный
интеллект. – 2006. – № 3. – С. 458-467.
4. Бурдаев В.П. Мультиагентная система в обучении / В.П. Бурдаев // Тезисы VII Международной
конференции ИМС’2006. – Таганрог : Изд. ТРТУ, 2006. – С. 182-185.
5. Бурдаев В.П. Методика разработки баз знаний на основе системы «КАРКАС» / В.П. Бурдаев //
Искусственный интеллект. – 2007. – № 3. – C. 70-80.
6. Бурдаев В.П. Клиент-серверная технология экспертной обучающей системы для сетей Интернет и
Интранет / В.П. Бурдаев // Искусственный интеллект. – 2008. – № 3. – C. 364-373.
7. Бурдаев В.П. Модуль преподавателя в современных информационных технологиях обучения /
В.П. Бурдаев, Л.В. Бурдаева // Искусственный интеллект. – 2004. – № 3. – С. 279-286.
В.П. Бурдаєв
МІНС – майже інтелектуальна навчальна система
У статті розглядається модель майже інтелектуальної навчальної системи. Аналізуються можливості
агентів таких систем і їхнє застосування в навчанні з використанням Web-сервісів.
V.P. Burdaev
AILS – Almost Intellectual Fraining system
In paper the model of almost intellectual training system is considered. The opportunities of agents of such
system and its application in training with use of Web-services are analyzed.
Статья поступила в редакцию 23.07.2009.
|
| id | nasplib_isofts_kiev_ua-123456789-8192 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1561-5359 |
| language | Russian |
| last_indexed | 2025-12-07T18:36:26Z |
| publishDate | 2009 |
| publisher | Інститут проблем штучного інтелекту МОН України та НАН України |
| record_format | dspace |
| spelling | Бурдаев, В.П. 2010-05-14T09:40:56Z 2010-05-14T09:40:56Z 2009 ПИОС − почти интеллектуальная обучающая система / В.П. Бурдаев // Штучний інтелект. — 2009. — № 4. — С. 330-337. — Бібліогр.: 7 назв. — рос. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/8192 004.08 В статье рассматривается модель почти интеллектуальной обучающей системы. Анализируются возможности
 агентов такой системы и ее применение в обучении с использованием Web-сервисов. У статті розглядається модель майже інтелектуальної навчальної системи. Аналізуються можливості
 агентів таких систем і їхнє застосування в навчанні з використанням Web-сервісів. In paper the model of almost intellectual training system is considered. The opportunities of agents of such
 system and its application in training with use of Web-services are analyzed. ru Інститут проблем штучного інтелекту МОН України та НАН України Обучающие и экспертные системы ПИОС − почти интеллектуальная обучающая система МІНС – майже інтелектуальна навчальна система AILS – Almost Intellectual Fraining system Article published earlier |
| spellingShingle | ПИОС − почти интеллектуальная обучающая система Бурдаев, В.П. Обучающие и экспертные системы |
| title | ПИОС − почти интеллектуальная обучающая система |
| title_alt | МІНС – майже інтелектуальна навчальна система AILS – Almost Intellectual Fraining system |
| title_full | ПИОС − почти интеллектуальная обучающая система |
| title_fullStr | ПИОС − почти интеллектуальная обучающая система |
| title_full_unstemmed | ПИОС − почти интеллектуальная обучающая система |
| title_short | ПИОС − почти интеллектуальная обучающая система |
| title_sort | пиос − почти интеллектуальная обучающая система |
| topic | Обучающие и экспертные системы |
| topic_facet | Обучающие и экспертные системы |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/8192 |
| work_keys_str_mv | AT burdaevvp piospočtiintellektualʹnaâobučaûŝaâsistema AT burdaevvp mínsmaižeíntelektualʹnanavčalʹnasistema AT burdaevvp ailsalmostintellectualfrainingsystem |