Некоторые программные среды аналитики больших данных
Изложены концептуальные вопросы построения сред обработки данных – кластерных систем на программной платформе Hadoop. Описана инфраструктура HadoopMapReduce для организации параллельных распределенных вычислений над данны ми и показано эволюционное преобразование платформы Hadoop применительно к инт...
Gespeichert in:
| Veröffentlicht in: | Управляющие системы и машины |
|---|---|
| Datum: | 2016 |
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Russian |
| Veröffentlicht: |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
2016
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/113330 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Некоторые программные среды аналитики больших данных / А.А. Урсатьев // Управляющие системы и машины. — 2016. — № 3. — С. 29-42. — Бібліогр.: 33 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-113330 |
|---|---|
| record_format |
dspace |
| spelling |
Урсатьев, А.А. 2017-02-06T15:28:50Z 2017-02-06T15:28:50Z 2016 Некоторые программные среды аналитики больших данных / А.А. Урсатьев // Управляющие системы и машины. — 2016. — № 3. — С. 29-42. — Бібліогр.: 33 назв. — рос. 0130-5395 https://nasplib.isofts.kiev.ua/handle/123456789/113330 004.7:004.75:004.9:004.738.5 Изложены концептуальные вопросы построения сред обработки данных – кластерных систем на программной платформе Hadoop. Описана инфраструктура HadoopMapReduce для организации параллельных распределенных вычислений над данны ми и показано эволюционное преобразование платформы Hadoop применительно к интерактивным и потоковым динамиче ским нагрузкам. Викладено концептуальні питання побудови середовищ обробки даних – кластерных систем на програмній платформі Hadoop. Описано інфраструктуру HadoopMapReduce для організації паралельних розподілених обчислень над даними і показано ево люційне перетворення платформи Hadoop стосовно інтерактивних і потокових динамічних навантажень. improvement of the traditional processing technology and to create the advanced analytics environments. The conceptual issues of data media construction, in particular, on the Hadoop cluster system software platform is presented. The HadoopMapReduce infrastructure is described for the parallel distributed computing on the data and the evolutionary transformation of Hadoop platform using the infrastructure and streaming dynamic loads, as well as HadoopMapReduce infrastructure constraints. It is shown that an introduction of YARN (Yet Another Resource Negotiator) on the computing Hadoop platform allows to perform the different workloads in a linearly scalable cluster Hadoop YARN (Hadoop 2.0), achieving calculations of the high efficiency. Frameworks, Spark, Tez and Storm use the possibility of YARN . The components that make a total Hadoop 2.0 de facto the standard technology for working with Big Data are analyzed. These are the constructions Hive for design-oriented interactive queries to SQL-like language HQL (Hive query language) and working with large data storage; Pig – a high-level procedure language Pig Latin, designed for accessing the semidistributed lennym datasets; HBase – distributed non-relational DBMS, working effectively with the individual records in real time; Apache Accumulo – oriented on a high level of safety distributed, scalable data repository with the strict requirements of the information and personal data protection. The problems of large data efficiently various types download of Hadoop ecosystem using Hive and Pig. A comparative analysis of ELT (extract-load-transform) and ETL ru Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України Управляющие системы и машины Методы и средства обработки данных и знаний Некоторые программные среды аналитики больших данных Деякі програмні середовища аналітики великих даних SomeFrameworks forAnalytics Big Data Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Некоторые программные среды аналитики больших данных |
| spellingShingle |
Некоторые программные среды аналитики больших данных Урсатьев, А.А. Методы и средства обработки данных и знаний |
| title_short |
Некоторые программные среды аналитики больших данных |
| title_full |
Некоторые программные среды аналитики больших данных |
| title_fullStr |
Некоторые программные среды аналитики больших данных |
| title_full_unstemmed |
Некоторые программные среды аналитики больших данных |
| title_sort |
некоторые программные среды аналитики больших данных |
| author |
Урсатьев, А.А. |
| author_facet |
Урсатьев, А.А. |
| topic |
Методы и средства обработки данных и знаний |
| topic_facet |
Методы и средства обработки данных и знаний |
| publishDate |
2016 |
| language |
Russian |
| container_title |
Управляющие системы и машины |
| publisher |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України |
| format |
Article |
| title_alt |
Деякі програмні середовища аналітики великих даних SomeFrameworks forAnalytics Big Data |
| description |
Изложены концептуальные вопросы построения сред обработки данных – кластерных систем на программной платформе Hadoop. Описана инфраструктура HadoopMapReduce для организации параллельных распределенных вычислений над данны ми и показано эволюционное преобразование платформы Hadoop применительно к интерактивным и потоковым динамиче ским нагрузкам.
Викладено концептуальні питання побудови середовищ обробки даних – кластерных систем на програмній платформі Hadoop. Описано інфраструктуру HadoopMapReduce для організації паралельних розподілених обчислень над даними і показано ево люційне перетворення платформи Hadoop стосовно інтерактивних і потокових динамічних навантажень.
improvement of the traditional processing technology and to create the advanced analytics environments. The conceptual issues of data media construction, in particular, on the Hadoop cluster system software platform is presented. The HadoopMapReduce infrastructure is described for the parallel distributed computing on the data and the evolutionary transformation of Hadoop platform using the infrastructure and streaming dynamic loads, as well as HadoopMapReduce infrastructure constraints. It is shown that an introduction of YARN (Yet Another Resource Negotiator) on the computing Hadoop platform allows to perform the different workloads in a linearly scalable cluster Hadoop YARN (Hadoop 2.0), achieving calculations of the high efficiency. Frameworks, Spark, Tez and Storm use the possibility of YARN . The components that make a total Hadoop 2.0 de facto the standard technology for working with Big Data are analyzed. These are the constructions Hive for design-oriented interactive queries to SQL-like language HQL (Hive query language) and working with large data storage; Pig – a high-level procedure language Pig Latin, designed for accessing the semidistributed lennym datasets; HBase – distributed non-relational DBMS, working effectively with the individual records in real time; Apache Accumulo – oriented on a high level of safety distributed, scalable data repository with the strict requirements of the information and personal data protection. The problems of large data efficiently various types download of Hadoop ecosystem using Hive and Pig. A comparative analysis of ELT (extract-load-transform) and ETL
|
| issn |
0130-5395 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/113330 |
| citation_txt |
Некоторые программные среды аналитики больших данных / А.А. Урсатьев // Управляющие системы и машины. — 2016. — № 3. — С. 29-42. — Бібліогр.: 33 назв. — рос. |
| work_keys_str_mv |
AT ursatʹevaa nekotoryeprogrammnyesredyanalitikibolʹšihdannyh AT ursatʹevaa deâkíprogramníseredoviŝaanalítikivelikihdanih AT ursatʹevaa someframeworksforanalyticsbigdata |
| first_indexed |
2025-12-07T16:54:14Z |
| last_indexed |
2025-12-07T16:54:14Z |
| _version_ |
1850869236992311296 |