Эмпирические функции распределения результатов тестирования выпускников школ
Показано, что результаты единого государственного экзамена выпускников школ Российской Федерации по русскому языку и математике могут быть описаны как смесь трех нормально распределенных выборок. Рекомендовано использование непараметрических статистических методов для обработки результатов тестирова...
Збережено в:
| Дата: | 2009 |
|---|---|
| Автори: | , , |
| Формат: | Стаття |
| Мова: | Російська |
| Опубліковано: |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
2009
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/5557 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Эмпирические функции распределения результатов тестирования выпускников школ / В.Е. Бахрушин, С.В. Журавель, М.А. Игнахина // Управляющие системы и машины. — 2009. — № 2. — С. 82-84, 91. — Бібліогр.: 7 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859863988013105152 |
|---|---|
| author | Бахрушин, В.Е. Журавель, С.В. Игнахина, М.А. |
| author_facet | Бахрушин, В.Е. Журавель, С.В. Игнахина, М.А. |
| citation_txt | Эмпирические функции распределения результатов тестирования выпускников школ / В.Е. Бахрушин, С.В. Журавель, М.А. Игнахина // Управляющие системы и машины. — 2009. — № 2. — С. 82-84, 91. — Бібліогр.: 7 назв. — рос. |
| collection | DSpace DC |
| description | Показано, что результаты единого государственного экзамена выпускников школ Российской Федерации по русскому языку и математике могут быть описаны как смесь трех нормально распределенных выборок. Рекомендовано использование непараметрических статистических методов для обработки результатов тестирования и построения шкал перевода тестовых баллов в оценки.
Показано, що результати єдиного державного екзамену випускників шкіл Російської Федерації з російської мови та математики можуть бути подані як суміші трьох нормально розподілених вибірок. У зв’язку з цим рекомендується застосування непараметричних статистичних методів для обробки результатів тестування й побудови шкал переведення тестових балів в оцінки.
It is shown that the results of the united state examination of Russian Federation secondary school graduates in Russian language and mathematics may be described as a mixture of three normally distributed components. Thus non-parametric statistical methods are recommended for test results processing and building of scales for transformation of testing results into marks.
|
| first_indexed | 2025-12-07T15:47:43Z |
| format | Article |
| fulltext |
82 УСиМ, 2009, № 2
УДК 371.26:519.25
В.Е. Бахрушин, С.В. Журавель, М.А. Игнахина
Эмпирические функции распределения результатов тестирования
выпускников школ
Показано, что результаты единого государственного экзамена выпускников школ Российской Федерации по русскому языку и ма-
тематике могут быть описаны как смесь трех нормально распределенных выборок. Рекомендовано использование непараметриче-
ских статистических методов для обработки результатов тестирования и построения шкал перевода тестовых баллов в оценки.
It is shown that the results of the united state examination of Russian Federation secondary school graduates in Russian language and
mathematics may be described as a mixture of three normally distributed components. Thus non-parametric statistical methods are rec-
ommended for test results processing and building of scales for transformation of testing results into marks.
Показано, що результати єдиного державного екзамену випускників шкіл Російської Федерації з російської мови та математики
можуть бути подані як суміші трьох нормально розподілених вибірок. У зв’язку з цим рекомендується застосування непараметрич-
них статистичних методів для обробки результатів тестування й побудови шкал переведення тестових балів в оцінки.
Введение. Вопрос усовершенствования мето-
дов и алгоритмов обработки результатов тес-
тирования актуален в связи с переходом Укра-
ины к проведению единого независимого тес-
тирования выпускников общеобразовательных
школ, внедрением кредитно-модульной систе-
мы организации учебного процесса в высших
учебных заведениях, а также активной разра-
боткой средств дистанционного и электронно-
го обучения.
Теоретические основы обработки резуль-
татов тестирования рассмотрены в работах
В.С. Аванесова и других авторов [1, 2]. Однако
вопрос об устойчивости используемых мето-
дик к отклонениям результатов от нормально-
го закона распределения исследован недоста-
точно.
Известно [3, 4], что отклонения данных от
нормального закона распределения во многих
случаях ведут к неправомерности использова-
ния традиционных методов обработки и анали-
за данных, а также некоторых параметров, при-
меняемых для их описания. В частности, для
одномодальных распределений с коэффициен-
том эксцесса ниже – 0,6 оценка центра распре-
деления – центр размаха, а для распределений
с коэффициентом эксцесса выше 0,8 – медиана
[4]. Согласно тому же источнику, объем вы-
борки, необходимый для определения показа-
телей разброса относительно центра, резко воз-
растает при увеличении коэффициента эксцес-
са. Если для нормального распределения (ε = 0)
по обеспечению относительного значения стан-
дартного отклонения не более 0,05 требуется
объем выборки не менее 200 элементов, то при
ε = 5 необходимый объем выборки возрастает
до 700, а при ε = 10 – до 1200. Более эффектив-
ными оценками разброса относительно центра
для распределений с положительными значе-
ниями коэффициента эксцесса являются эн-
тропийный коэффициент, а при ε больше 17–
18 – квантильные оценки.
Выбор конкретных методов проверки ста-
тистических гипотез различного типа также в
значительной мере определяется видом функ-
ции распределения. Если закон распределения
неизвестен, то используют более устойчивые к
различиям в законах распределения непара-
метрические методы. Однако и в этом случае
эффективность оценок может быть повышена,
если закон распределения анализируемых дан-
ных известен. В связи с этим актуальна про-
блема исследования эмпирических функций рас-
пределения результатов тестирования. В рабо-
те [5] показано, что результаты внешнего неза-
висимого оценивания знаний выпускников ук-
раинских школ 2006 г. по украинскому языку и
математике находятся в соответствии с гипоте-
зой об однородном логнормальном распреде-
лении.
Цель статьи – идентификация закона рас-
пределения результатов тестирования на более
представительной выборке результатов едино-
го государственного экзамена 2008 г. для вы-
УСиМ, 2009, № 2 83
пускников средних общеобразовательных уч-
реждений Российской Федерации.
Исходные данные и методика исследова-
ния
В качестве исходных данных с сайта [6]
взяты результаты единого государственного
экзамена по русскому языку и математике в
Российской Федерации, проведенных в 2008 г.
В тестировании по русскому языку принима-
ло участие 1 055 842 выпускника, а по мате-
матике – 937 652.
Эмпирические функции распределения стро-
или в соответствии с методикой [7]. Исходные
данные приведены по 60-балльной шкале для
результатов по русскому языку и по 37-бал-
льной – по математике. Кроме того, использо-
вали непрерывную аппроксимацию реального
закона распределения, для которой значения
модельной функции распределения совпадали
с наблюдаемыми при целых значениях аргу-
мента.
Как модели рассматривались однородные
функции нормального распределения и смеси
нормально распределенных выборок. Для уточ-
нения параметров моделей минимизировали
суммы квадратов их отклонений от эмпириче-
ских функций распределения, а также расчет-
ные значения критериев χ2 и Колмогорова-
Смирнова, используя процедуру «Поиск реше-
ния» электронных таблиц MS Excel. При этом
выполняли предварительную проверку устой-
чивости получаемого результата к выбору на-
чального приближения. Для проверки гипоте-
зы о соответствии используемой модели эмпи-
рической функции распределения использова-
ли критерии Колмогорова-Смирнова и χ2. При
этом, следуя [3], принимали, что при опреде-
лении параметров эмпирического распределе-
ния по выборке критическое значение крите-
рия Колмогорова–Смирнова для уровня зна-
чимости 0,05 равно 0,895.
Эмпирические функции распределения
результатов тестирования
Эмпирические и модельные функции рас-
пределения результатов тестирования по рус-
скому языку и математике представлены на
рис. 1 и 2. Модели представляли собой одно-
родные функции нормального распределения и
смеси нормально распределенных выборок с
параметрами, приведенными ниже.
Как видно из представленных данных, эм-
пирические функции распределения соответ-
ствуют гипотезе об однородном нормальном
распределении. Расчетные значения критерия
Колмогорова-Смирнова для нормального за-
кона распределения рассмотренных выборок
составляют соответственно 0,189 и 0,136. В
обоих случаях они значительно меньше крити-
ческого значения.
F
Рис. 1. Эмпирическая и модельные функции распределения
результатов единого государственного экзамена по
русскому языку
F
Рис. 2. Эмпирическая и модельные функции распределения
результатов единого государственного экзамена по ма-
тематике
Таким образом, результаты проверки по кри-
терию Колмогорова-Смирнова не дают осно-
вания для отклонения гипотезы об однородном
нормальном распределении рассматриваемых
выборок.
84 УСиМ, 2009, № 2
Гистограммы распределения
Для дополнительного анализа рассматри-
ваемых выборок построены их гистограммы
(рис. 3 и 4) и проведена проверка гипотез о за-
коне распределения на основании критерия χ2.
Этот критерий считается менее мощным, чем
критерий Колмогорова-Смирнова, и поэтому
не рекомендуется для выборок числовых дан-
ных [3]. Вместе с тем приведенные гистограм-
мы наглядно свидетельствуют о том, что рас-
сматриваемые выборки не однородны и не мо-
гут быть описаны нормальным законом распре-
деления. Расчетные значения критерия χ2 для
такой гипотезы значительно превышают кри-
тические, а распределение результатов по ма-
тематике вообще не является унимодальным.
Рис. 3. Гистограмма распределения результатов единого госу-
дарственного экзамена по русскому языку
Рис. 4. Гистограмма распределения результатов единого госу-
дарственного экзамена по математике
В связи с этим рассмотрена гипотеза о воз-
можности представления имеющихся данных
как смесей нормально распределенных выбо-
рок. Оптимальные с точки зрения сочетания
количества компонент смеси и правильности
отображения функций и гистограмм распреде-
ления получены для случая трех компонент.
Параметры компонент уточняли, минимизируя
расчетные значения критериев χ2 и Колмого-
рова-Смирнова. При этом получены модели
функций распределения:
FРяз = 0,061N(11,92; 3,59) + 0278N(24,23; 6,89) +
+ 0,661N(39,32; 9,98);
FМатем = 0,204N(3,49; 1,63) + 0,507N(10,60; 3,82)
+ 0,288N(16,54; 5,57).
Такие результаты ожидаемы, поскольку хо-
рошо известны различия в уровне подготовки
школьников между регионами, а также между
городскими и сельскими школами, «рядовы-
ми» и «элитными» образовательными учреж-
дениями и т.д. Для результатов внешнего неза-
висимого тестирования выпускников украин-
ских школ аналогичный разброс уровня подго-
товки проявился [5] в значительной асиммет-
рии распределений результатов.
Таким образом, суммируя приведенные дан-
ные и результаты [5], можно увидеть, что ре-
альные распределения результатов тестирова-
ния для выборок большого объема в большин-
стве случаев не описываются моделями одно-
родного нормального распределения.
Заключение. Результаты исследования эм-
пирических функций распределения итогов тес-
тирования выпускников средних школ в Укра-
ине и России позволяют сделать такие выводы.
Распределение результатов тестирования в
общем случае может отклоняться от нормально-
го закона и быть неоднородным, а получаемые
выборки результатов могут характеризоваться
высокими значениями коэффициентов асим-
метрии и эксцесса. В связи с этим при анализе
результатов тестирования и построении шкал
перевода их в оценки целесообразно использо-
вать непараметрические статистические мето-
ды, устойчивые к типу распределения данных.
Необходимо также более детально изучить во-
прос о выборе стандартных показателей цен-
тра распределения результатов тестирования и
разброса данных относительно центра.
Окончание на стр. 91
УСиМ, 2009, № 2 91
Рис. 3. Размещение на предметном сайте оригиналов научных
материалов
Таким образом, глобальная сеть Internet, со
своими технологиями – катализатор разнооб-
разных организационных эффектов, способна
внести большую лепту и в организацию само-
стоятельной работы студента университета,
ищущего выход на эффективно систематизи-
рованные предметные знания.
1. Півняк Г.Г., Салов В.О. Стандарти вищої освіти у
контексті Болонської декларації // Вища освіта Укра-
їни. – 2004. – № 42–43. – 2 червня – С. 6.
2. Програма дій щодо реалізації положень Болонсь-
кої декларації в системі вищої освіти і науки Укра-
їни: затверджено наказом № 49 МОН від 23.01.2004 р.
// Вища освіта України і Болонський процес: Навч.
посібник / За ред. В.Г. Кременя. – Тернопіль: Бог-
дан, 2004. – 384 с.
3. Стефаненко П.В. Дистанційне навчання у вищій
школі. – Донецьк: ДОННТУ, 2002. – 400 с.
© М.В. Макарова, 2009
Окончание статьи В.Е. Бахрушина и др.
В настоящее время актуально дальнейшее
накопление эмпирических данных о функциях
распределения результатов тестирования и
влиянии на них различных факторов.
1. Аванесов В.С. Научные основы тестового контроля
знаний. – М.: Исследовательский центр, 1994. –
135 с.
2. Аванесов В.С. Композиция тестовых заданий. – М.:
Адепт, 1998. – 217 с.
3. Орлов А.И. Прикладная статистика. – М.: Экзамен,
2006. – 671 с.
4. Новицкий П.В., Зограф И.А. Оценка погрешностей
результатов измерений. – Л.: Энергоатомиздат,
1991. – 304 с.
5. Бахрушин В.Е., Игнахина М.А., Шумада Р.Я. Эмпи-
рические функции распределения результатов тес-
тирования // Зб. пр. III Міжнар. конф. «Нові інфо-
рмаційні технології в освіті для всіх: система елек-
тронної освіти» / Ред. В. Гриценко. – К.: МННЦІТ
та С, 2008. – С. 79–84.
6. http://www.ege.ru
7. Бахрушин В.Є. Аналіз даних. – Запоріжжя: ГУ
«ЗІДМУ», 2006. – 128 с.
© В.Е. Бахрушин, С.В. Журавель, М.А. Игнахина, 2009
Окончание статьи Г.М. Кравцова и др.
3. Кравцов Г.М., Кравцов Д.Г. Модель контроля знаний
в системе дистанционного тестирования «Web-Exa-
miner» по стандарту IMS // «Information Techno-
logies in Education for all». Киев. – 2007. – С. 204–212.
4. Kravtsov H., Kravtsov D. Knowledge Control Model of
Distance Learning System on IMS Standard // Innova-
tive Techniques in Instruction Technology, E-learning,
E-assessment, and Education. – Springer. – 2008. –
P. 195–198.
5. Кравцов Д.Г. Проектирование и реализация много-
слойной системы тестирования // УСиМ. – 2005. –
№ 6. – С. 71–74.
6. Кравцов Г.М., Кравцов Д.Г. Адаптивные и объект-
ные тесты в модели контроля знаний по стандарту
IMS // УСиМ. – 2008. – № 1. – С. 42–48.
7. Кравцов Г.М., Кравцов Д.Г., Козловський Є.О. Специ-
фікації об’єктних та адаптивних тестів за стандар-
том IMS. // Матеріали міжнар. наук.-метод. конф.
«Географічні інформаційні системи в аграрних уні-
верситетах». Херсон. – 2006. – С. 39–40.
© Г.М. Кравцов, Д.Г. Кравцов, 2009
|
| id | nasplib_isofts_kiev_ua-123456789-5557 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0130-5395 |
| language | Russian |
| last_indexed | 2025-12-07T15:47:43Z |
| publishDate | 2009 |
| publisher | Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України |
| record_format | dspace |
| spelling | Бахрушин, В.Е. Журавель, С.В. Игнахина, М.А. 2010-01-26T12:56:22Z 2010-01-26T12:56:22Z 2009 Эмпирические функции распределения результатов тестирования выпускников школ / В.Е. Бахрушин, С.В. Журавель, М.А. Игнахина // Управляющие системы и машины. — 2009. — № 2. — С. 82-84, 91. — Бібліогр.: 7 назв. — рос. 0130-5395 https://nasplib.isofts.kiev.ua/handle/123456789/5557 371.26:519.25 Показано, что результаты единого государственного экзамена выпускников школ Российской Федерации по русскому языку и математике могут быть описаны как смесь трех нормально распределенных выборок. Рекомендовано использование непараметрических статистических методов для обработки результатов тестирования и построения шкал перевода тестовых баллов в оценки. Показано, що результати єдиного державного екзамену випускників шкіл Російської Федерації з російської мови та математики можуть бути подані як суміші трьох нормально розподілених вибірок. У зв’язку з цим рекомендується застосування непараметричних статистичних методів для обробки результатів тестування й побудови шкал переведення тестових балів в оцінки. It is shown that the results of the united state examination of Russian Federation secondary school graduates in Russian language and mathematics may be described as a mixture of three normally distributed components. Thus non-parametric statistical methods are recommended for test results processing and building of scales for transformation of testing results into marks. ru Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України Электронные образовательные среды Эмпирические функции распределения результатов тестирования выпускников школ Empirical Distribution Functions of Secondary School Graduates Testing Results Article published earlier |
| spellingShingle | Эмпирические функции распределения результатов тестирования выпускников школ Бахрушин, В.Е. Журавель, С.В. Игнахина, М.А. Электронные образовательные среды |
| title | Эмпирические функции распределения результатов тестирования выпускников школ |
| title_alt | Empirical Distribution Functions of Secondary School Graduates Testing Results |
| title_full | Эмпирические функции распределения результатов тестирования выпускников школ |
| title_fullStr | Эмпирические функции распределения результатов тестирования выпускников школ |
| title_full_unstemmed | Эмпирические функции распределения результатов тестирования выпускников школ |
| title_short | Эмпирические функции распределения результатов тестирования выпускников школ |
| title_sort | эмпирические функции распределения результатов тестирования выпускников школ |
| topic | Электронные образовательные среды |
| topic_facet | Электронные образовательные среды |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/5557 |
| work_keys_str_mv | AT bahrušinve émpiričeskiefunkciiraspredeleniârezulʹtatovtestirovaniâvypusknikovškol AT žuravelʹsv émpiričeskiefunkciiraspredeleniârezulʹtatovtestirovaniâvypusknikovškol AT ignahinama émpiričeskiefunkciiraspredeleniârezulʹtatovtestirovaniâvypusknikovškol AT bahrušinve empiricaldistributionfunctionsofsecondaryschoolgraduatestestingresults AT žuravelʹsv empiricaldistributionfunctionsofsecondaryschoolgraduatestestingresults AT ignahinama empiricaldistributionfunctionsofsecondaryschoolgraduatestestingresults |