Дослідження феномену подвійного спуску та порівняння мінімаксної апроксимації з L2-регуляризацією
This paper investigates the phenomenon of double descent and proposes the use of minimax approximation (L∞-norm) as an alternative to L2-regularization to improve the quality of model approximation. Double descent describes the dependence of the error on the complexity of the model: the error first...
Збережено в:
| Дата: | 2025 |
|---|---|
| Автор: | |
| Формат: | Стаття |
| Мова: | Ukrainian |
| Опубліковано: |
Vinnytsia National Technical University
2025
|
| Теми: | |
| Онлайн доступ: | https://oeipt.vntu.edu.ua/index.php/oeipt/article/view/773 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Optoelectronic Information-Power Technologies |
Репозитарії
Optoelectronic Information-Power Technologies| id |
oai:oeipt.vntu.edu.ua:article-773 |
|---|---|
| record_format |
ojs |
| spelling |
oai:oeipt.vntu.edu.ua:article-7732025-06-19T11:44:36Z Study of the double trigger phenomenon and comparison of minimax approximation with L2-regularization Дослідження феномену подвійного спуску та порівняння мінімаксної апроксимації з L2-регуляризацією Кривошея, М.І. double descent L2 regularization minimax approximation polynomial models machine learning anomalies подвійнний спуск L2-регуляризація мінімаксна апроксимація поліноміальні моделі машинне навчання аномалії This paper investigates the phenomenon of double descent and proposes the use of minimax approximation (L∞-norm) as an alternative to L2-regularization to improve the quality of model approximation. Double descent describes the dependence of the error on the complexity of the model: the error first decreases, then increases due to overfitting, and then decreases again. In contrast, in experiments with a model without regularization, a predominantly increasing trend of the error with short periods of decline was found, which is observed for an incomplete manifestation of the phenomenon. This is probably due to anomalous points in the data that caused an exponential increase in the error at high powers. Three approaches were noted: a classical model without regularization, a model with L2-regularization, and minimal approximation. L2 regularization added a penalty for large coefficient norms, which stabilized the error and prevented overfitting, especially at high polynomial degrees (200+). Minimax approximation minimized the error, thereby providing better maximum anomaly robustness and outperforming L2 regularization at low degrees (up to 50). The results confirmed that minimax approximation is more effective for problems with anomalies, while L2 regularization performs better on complex models with high polynomial degrees. The findings contribute to the understanding of the double descent phenomenon and show the practicality of applying different approaches due to data features and model requirements. У цій роботі досліджено феномен подвійного спуску та запропоновано використання мінімаксної апроксимації (L∞-норма) як альтернативу L2-регуляризації для покращення якості апроксимації моделей. Подвійний спуск описує залежність похибки від складності моделі: похибка спершу зменшується, потім зростає через перенавчання, а далі знову знижується. Проте в експериментах із моделлю без регуляризації було виявлено переважно зростаючу тенденцію похибки із короткими періодами спаду, що свідчить про неповний прояв феномену. Це, ймовірно, пов’язано з аномальними точками в даних, які спричинили експоненційне зростання похибки на високих ступенях. Було розглянуто три підходи: класичну модель без регуляризації, модель із L2-регуляризацією та мінімаксну апроксимацію. L2-регуляризація додала штраф за велику норму коефіцієнтів, що дозволило стабілізувати похибку та запобігти перенавчанню, особливо на високих ступенях полінома (200+). Мінімаксна апроксимація мінімізувала максимальну похибку, завдяки чому забезпечувала кращу стійкість до аномалій і перевершувала L2-регуляризацію на низьких ступенях (до 50). Результати підтвердили, що мінімаксна апроксимація є більш ефективною для задач із аномаліями, тоді як L2-регуляризація краще працює на складних моделях із високими ступенями полінома. Отримані висновки сприяють розширенню розуміння феномену подвійного спуску й показують практичну користь різних підходів у залежності від особливостей даних і вимог до моделі. Vinnytsia National Technical University 2025-06-18 Article Article application/pdf https://oeipt.vntu.edu.ua/index.php/oeipt/article/view/773 10.31649/1681-7893-2025-49-1-36-43 Optoelectronic Information-Power Technologies; Vol. 49 No. 1 (2025); 36-43 Оптико-електроннi iнформацiйно-енергетичнi технологiї; Том 49 № 1 (2025); 36-43 Оптико-електроннi iнформацiйно-енергетичнi технологiї; Том 49 № 1 (2025); 36-43 2311-2662 1681-7893 10.31649/1681-7893-2025-49-1 uk https://oeipt.vntu.edu.ua/index.php/oeipt/article/view/773/703 |
| institution |
Optoelectronic Information-Power Technologies |
| baseUrl_str |
|
| datestamp_date |
2025-06-19T11:44:36Z |
| collection |
OJS |
| language |
Ukrainian |
| topic |
подвійнний спуск L2-регуляризація мінімаксна апроксимація поліноміальні моделі машинне навчання аномалії |
| spellingShingle |
подвійнний спуск L2-регуляризація мінімаксна апроксимація поліноміальні моделі машинне навчання аномалії Кривошея, М.І. Дослідження феномену подвійного спуску та порівняння мінімаксної апроксимації з L2-регуляризацією |
| topic_facet |
double descent L2 regularization minimax approximation polynomial models machine learning anomalies подвійнний спуск L2-регуляризація мінімаксна апроксимація поліноміальні моделі машинне навчання аномалії |
| format |
Article |
| author |
Кривошея, М.І. |
| author_facet |
Кривошея, М.І. |
| author_sort |
Кривошея, М.І. |
| title |
Дослідження феномену подвійного спуску та порівняння мінімаксної апроксимації з L2-регуляризацією |
| title_short |
Дослідження феномену подвійного спуску та порівняння мінімаксної апроксимації з L2-регуляризацією |
| title_full |
Дослідження феномену подвійного спуску та порівняння мінімаксної апроксимації з L2-регуляризацією |
| title_fullStr |
Дослідження феномену подвійного спуску та порівняння мінімаксної апроксимації з L2-регуляризацією |
| title_full_unstemmed |
Дослідження феномену подвійного спуску та порівняння мінімаксної апроксимації з L2-регуляризацією |
| title_sort |
дослідження феномену подвійного спуску та порівняння мінімаксної апроксимації з l2-регуляризацією |
| title_alt |
Study of the double trigger phenomenon and comparison of minimax approximation with L2-regularization |
| description |
This paper investigates the phenomenon of double descent and proposes the use of minimax approximation (L∞-norm) as an alternative to L2-regularization to improve the quality of model approximation. Double descent describes the dependence of the error on the complexity of the model: the error first decreases, then increases due to overfitting, and then decreases again. In contrast, in experiments with a model without regularization, a predominantly increasing trend of the error with short periods of decline was found, which is observed for an incomplete manifestation of the phenomenon. This is probably due to anomalous points in the data that caused an exponential increase in the error at high powers. Three approaches were noted: a classical model without regularization, a model with L2-regularization, and minimal approximation. L2 regularization added a penalty for large coefficient norms, which stabilized the error and prevented overfitting, especially at high polynomial degrees (200+). Minimax approximation minimized the error, thereby providing better maximum anomaly robustness and outperforming L2 regularization at low degrees (up to 50). The results confirmed that minimax approximation is more effective for problems with anomalies, while L2 regularization performs better on complex models with high polynomial degrees. The findings contribute to the understanding of the double descent phenomenon and show the practicality of applying different approaches due to data features and model requirements. |
| publisher |
Vinnytsia National Technical University |
| publishDate |
2025 |
| url |
https://oeipt.vntu.edu.ua/index.php/oeipt/article/view/773 |
| work_keys_str_mv |
AT krivošeâmí studyofthedoubletriggerphenomenonandcomparisonofminimaxapproximationwithl2regularization AT krivošeâmí doslídžennâfenomenupodvíjnogospuskutaporívnânnâmínímaksnoíaproksimacíízl2regulârizacíêû |
| first_indexed |
2025-09-24T17:29:41Z |
| last_indexed |
2025-09-24T17:29:41Z |
| _version_ |
1850410283122556928 |