Вибір провайдера хмарного сервісу на основі навчання з підкріпленням і репутації провайдерів
Для задачі вибору провайдера хмарного сервісу запропоновано використати підхід на основі навчання з підкріпленням, що додатково враховує репутацію провайдерів, яка визначається за досвідом використання їх сервісів та оцінками користувачів. Для провайдерів зі сталими параметрами надання сервісів пока...
Saved in:
| Published in: | Реєстрація, зберігання і обробка даних |
|---|---|
| Date: | 2014 |
| Main Authors: | , |
| Format: | Article |
| Language: | Ukrainian |
| Published: |
Інститут проблем реєстрації інформації НАН України
2014
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/87165 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Вибір провайдера хмарного сервісу на основі навчання з підкріпленням і репутації провайдерів / І.Ю. Мирошникова, О.М. Новіков // Реєстрація, зберігання і обробка даних. — 2014. — Т. 16, № 4. — С. 54-63. — Бібліогр.: 12 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859825703260782592 |
|---|---|
| author | Мирошникова, І.Ю. Новіков, О.М. |
| author_facet | Мирошникова, І.Ю. Новіков, О.М. |
| citation_txt | Вибір провайдера хмарного сервісу на основі навчання з підкріпленням і репутації провайдерів / І.Ю. Мирошникова, О.М. Новіков // Реєстрація, зберігання і обробка даних. — 2014. — Т. 16, № 4. — С. 54-63. — Бібліогр.: 12 назв. — укр. |
| collection | DSpace DC |
| container_title | Реєстрація, зберігання і обробка даних |
| description | Для задачі вибору провайдера хмарного сервісу запропоновано використати підхід на основі навчання з підкріпленням, що додатково враховує репутацію провайдерів, яка визначається за досвідом використання їх сервісів та оцінками користувачів. Для провайдерів зі сталими параметрами надання сервісів показано зменшення кількості кроків, що необхідні для навчання системи, порівняно з підходами на основі навчання з підкріпленням без урахування репутації провайдерів.
Reputation-oriented reinforcement learning approach was proposed for cloud service provider selec-tion problem. Provider reputation in the approach is based on their service using experience and users’ estimates. Modelling results for providers with fixed service parameters demonstrated the decreasing number of steps, required for system learning, as compared with reinforcement learning approaches with-out considering providers’ reputation.
|
| first_indexed | 2025-12-07T15:28:40Z |
| format | Article |
| fulltext |
54
004.85:519.872.2
. . , . .
« »
, 37, 03056 ,
-
,
, -
. -
,
,
.
: , ,
, , , .
,
.
, -
’ ( ) -
[1]. -
, -
.
,
,
[2, 3]. -
, .
:
( -
); , , -
( );
( ).
,
,
© . . , . .
ISSN 1560-9189 , , 2014, . 16, 4 55
, . -
, -
,
( , ) [4].
-
[5–7]. Q-
[8], : -
[5];
-
, : -
-
[6]; [7].
, -
. -
, [5].
-
.
, -
[9]. ,
,
.
, ,
,
, -
.
1.
, . -
,,, TPUS (1)
U — , ; P — -
, -
; T — , -
.
-
, — ( 0 1), — -
( 1 0 ) [9]. -
:r P Rep , Rep —
, .
, -
, ( . 1).
. . , . .
56
. 1.
t T -
p̂ , t.
:
ˆ( , ) maxuv c p , (2)
uv — , -
u :uv C P ; c — , -
.
. , c,
, uv .
, , -
( , ).
-
,
.
2.
, ,
, -
. -
. (2) , -
.
ISSN 1560-9189 , , 2014, . 16, 4 57
2.1. TD-
:f U T P , (3)
U, P, T — (1). , ( , , )c c cf u t p — -
ct , cu , -
, cp .
TD-
[10]:
ˆ ˆ = ( , ) ( , , ),uv c p f u t p
ˆ ˆ( , , ) ( , , )f u t p f u t p ,
— ( 0 1). -
0 1,
min .
2.2.
-
, .
,
. -
[11]: p̂ -
P, (1 ) . -
0 1,
min .
2.3.
ct -
rP p̂ , -
ˆ arg max ( , , )
r
c c
p P
p f u t p , (4)
arg — , arg ( , , )f u t p p . -
, -
P. . 2 .
. . , . .
58
chooseProvide ( ct , u, rP , P)
// ct :
// u: , t
// rP :
// :
//
if ( rP ) searchP P
else search rP P
ˆ arg max ( , , )
searchp P
p f u t p
return p̂
. 2.
2.4.
— , .
rP :
{ | ( ) } .rP p P r p P
[12],
, -
. -
.
,
.
newp , , -
, -
0( )newr p r Rep .
, ˆ( )r p
p̂ . uV — ( ) ,
. k, -
[9]:
, 0,
, 0,
k ( , )u uv c p V .
p̂
:
ˆ ˆ ˆ( ) (1 ( )), ( ) 0,
ˆ( )
ˆ ˆ ˆ( ) (1 ( )), ( ) 0.
r p k r p r p
r p
r p k r p r p
ISSN 1560-9189 , , 2014, . 16, 4 59
. -
ˆ( )r p ˆ rp P , p̂ . -
, ˆ( )r p ˆ rp P ,
rP .
. 3, chooseProvider
.
globalSystemLifetime (T, u, P, , 0r , min , step )
// T:
// u: , t
// P:
// :
// 0r :
// min , step :
-
rP
1
for each ip P :
0( )ir p r
( , , ) 0c if u t p
for each t T
( )ct getType t //
//
1 = getRandomInteger(0,1)
if ( 1 ) // P
p̂ = getRandomProvider(P)
else //
p̂ = chooseProvider ( ct , u, rP , P )
// p̂ t
// c
// p̂ u t
c
// u ˆ( , )uv c p
//
. . , . .
60
if ( min ) step
if ( min ) min
// p̂
ˆ ˆ ˆ ˆ( , , ) ( , , ) ( ( , ) ( , , ))u
c c cf u t p f u t p v c p f u t p
// p̂
if ( 0 ) k
else k
ˆ ˆ ˆ ˆ( ) ( ) (1 sgn( ( )) ( ))r p r p k r p r p
//
if ( ˆ( )r p ˆ rp P )
ˆ{ }r rP P p
if ( ˆ( )r p ˆ rp P )
ˆ\{ }r rP P p
. 3.
3.
. ,
, -
. , , , -
.
: 300 000:30, 30 000:30.
, -
: 0,6 . ,
, 0 0r .
:
min 0,3 , min 0,2 .
: -
, 0,1step . -
— 0,05step .
, , -
— . ( uV )
. uv ,
,
q. , -
, .
ISSN 1560-9189 , , 2014, . 16, 4 61
, -
, : 0,4 ,
0, 2 —
[9].
, -
. Random —
( rP ). RL, Reputation Reputation (R) -
- .
: Reputation (R)
, Reputation —
, RL —
.
. 4 , -
: ( ) 30 000 30 , ( ) 300 000 30 -
. 1000 , 1000 -
.
RL, Reputation Reputa-
tion (R), . 4. 25
. ,
0 1,
. RL
Reputation .
Reputation (R) RL Reputation -
50 , — -
.
: 300 -
RL Reputation.
( . 4, ) Reputation
Reputation (R) 50 .
RL Reputation.
200 (300 000) ( . 4, )
. -
Reputation. 30 000 -
300 .
,
.
,
, , -
(Reputation (R)).
,
RL Reputation. Reputation
( 75 %
) 6–10 % , RL
20–30 % . , , -
. . , . .
62
, -
.
)
)
. 4. , ,
. : ) 300 000:30, ) 30 000:30
-
,
.
, .
-
, -
ISSN 1560-9189 , , 2014, . 16, 4 63
.
,
, ,
, .
. , , -
-
,
.
-
,
, -
. , , -
-
.
1. Mell P. The NIST definition of cloud computing / P. Mell, T. Grance [ ]:
NIST Special Publication 800–145. — USA National Institute of Standards and Technology. — 2011. —
: http://csrc.nist.gov/publications/nistpubs/800-145/SP800-145.pdf
2. Designing a resource broker for heterogeneous grids / S. Venugopal, K. Nadiminti, H. Gibbins,
R. Buyya // Software: Practice and Experience. — 2008. — Vol. 38, N 8. — P. 793-825.
3. Dynamic cloud resource reservation via cloud brokerage / W. Wang, D. Niu, B. Li, B. Liang //
Proc. of the 2013 IEEE 33-rd Internation. Conf. on Distributed Computing Systems ICDCS’13. — 2013.
— P. 400–409.
4. Sutton R. Reinforcement learning: ani / R. Sutton, A.G. Barto // MIT Press. — Cambridge, MA,
1998.
5. Galstyan A. Resource allocation in the grid with learning agents / A. Galstyan, K. Czajkowski,
K. Lerman // Journal of Grid Computing. — 2005. — Vol. 3, N 1. — P. 91–100.
6. Grid differentiated services: a reinforcement learning approach / J. Perez, C. Germain-Renaud,
B. Kegl, C. Loomis // Cluster Computing and the Grid, 2008 CCGRID’08. — 8-th IEEE International
Symposium on. — 2008. — P. 287–294.
7. A novel multi-agent reinforcement learning approach for job scheduling in Grid computing /
J. Wu, X. Xu, P. Zhang, C. Liu // Future Generation Computer Systems. — 2011. — Vol. 27, N 5. — P.
430-439.
8. Watkins C.J.C.H. Q-learning / C.J.C.H. Watkins, P. Dayan // Machine learning. — 1992. — Vol.
8, N 3. — P. 279-292.
9. Tran T.T. A reputation-oriented reinforcement learning strategy for agents in electronic mar-
ketplaces / T.T. Tran, R. Cohen // Computational Intelligence. — 2002. — Vol. 18, N 4. — P. 550–565.
10. Barto A.G. Temporal difference learning / A.G. Barto // Scholarpedia. — 2007. — 2(11):1604.
11. Vermorel J. Multi-armed bandit algorithms and empirical evaluation / J. Vermorel, M. Mohri //
Proc. of the 16-th European Conf. on Machine Learning. ECML’05. — 2005. — P. 437–448.
12. Yu B. A social mechanism of reputation management in electronic communities / B. Yu, M.P.
Singh // In M. Klusch and L. Kerschberg editors — Cooperative Information Agents IV, Lecture Notes in
Artificial Intelligence. — 2000. — Vol. 1860. — P. 154–165.
06.10.2014
|
| id | nasplib_isofts_kiev_ua-123456789-87165 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1560-9189 |
| language | Ukrainian |
| last_indexed | 2025-12-07T15:28:40Z |
| publishDate | 2014 |
| publisher | Інститут проблем реєстрації інформації НАН України |
| record_format | dspace |
| spelling | Мирошникова, І.Ю. Новіков, О.М. 2015-10-11T17:31:45Z 2015-10-11T17:31:45Z 2014 Вибір провайдера хмарного сервісу на основі навчання з підкріпленням і репутації провайдерів / І.Ю. Мирошникова, О.М. Новіков // Реєстрація, зберігання і обробка даних. — 2014. — Т. 16, № 4. — С. 54-63. — Бібліогр.: 12 назв. — укр. 1560-9189 https://nasplib.isofts.kiev.ua/handle/123456789/87165 004.85:519.872.2 Для задачі вибору провайдера хмарного сервісу запропоновано використати підхід на основі навчання з підкріпленням, що додатково враховує репутацію провайдерів, яка визначається за досвідом використання їх сервісів та оцінками користувачів. Для провайдерів зі сталими параметрами надання сервісів показано зменшення кількості кроків, що необхідні для навчання системи, порівняно з підходами на основі навчання з підкріпленням без урахування репутації провайдерів. Reputation-oriented reinforcement learning approach was proposed for cloud service provider selec-tion problem. Provider reputation in the approach is based on their service using experience and users’ estimates. Modelling results for providers with fixed service parameters demonstrated the decreasing number of steps, required for system learning, as compared with reinforcement learning approaches with-out considering providers’ reputation. uk Інститут проблем реєстрації інформації НАН України Реєстрація, зберігання і обробка даних Експертні системи та підтримка прийняття рішень Вибір провайдера хмарного сервісу на основі навчання з підкріпленням і репутації провайдерів Cloud service provider selection using reinforcement learning approach and providers’ reputation Article published earlier |
| spellingShingle | Вибір провайдера хмарного сервісу на основі навчання з підкріпленням і репутації провайдерів Мирошникова, І.Ю. Новіков, О.М. Експертні системи та підтримка прийняття рішень |
| title | Вибір провайдера хмарного сервісу на основі навчання з підкріпленням і репутації провайдерів |
| title_alt | Cloud service provider selection using reinforcement learning approach and providers’ reputation |
| title_full | Вибір провайдера хмарного сервісу на основі навчання з підкріпленням і репутації провайдерів |
| title_fullStr | Вибір провайдера хмарного сервісу на основі навчання з підкріпленням і репутації провайдерів |
| title_full_unstemmed | Вибір провайдера хмарного сервісу на основі навчання з підкріпленням і репутації провайдерів |
| title_short | Вибір провайдера хмарного сервісу на основі навчання з підкріпленням і репутації провайдерів |
| title_sort | вибір провайдера хмарного сервісу на основі навчання з підкріпленням і репутації провайдерів |
| topic | Експертні системи та підтримка прийняття рішень |
| topic_facet | Експертні системи та підтримка прийняття рішень |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/87165 |
| work_keys_str_mv | AT mirošnikovaíû vibírprovaiderahmarnogoservísunaosnovínavčannâzpídkríplennâmíreputacííprovaiderív AT novíkovom vibírprovaiderahmarnogoservísunaosnovínavčannâzpídkríplennâmíreputacííprovaiderív AT mirošnikovaíû cloudserviceproviderselectionusingreinforcementlearningapproachandprovidersreputation AT novíkovom cloudserviceproviderselectionusingreinforcementlearningapproachandprovidersreputation |