Некоторые программные среды аналитики больших данных
Изложены концептуальные вопросы построения сред обработки данных – кластерных систем на программной платформе Hadoop. Описана инфраструктура HadoopMapReduce для организации параллельных распределенных вычислений над данны ми и показано эволюционное преобразование платформы Hadoop применительно к инт...
Збережено в:
| Опубліковано в: : | Управляющие системы и машины |
|---|---|
| Дата: | 2016 |
| Автор: | |
| Формат: | Стаття |
| Мова: | Російська |
| Опубліковано: |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
2016
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/113330 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Некоторые программные среды аналитики больших данных / А.А. Урсатьев // Управляющие системы и машины. — 2016. — № 3. — С. 29-42. — Бібліогр.: 33 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1862705539481337856 |
|---|---|
| author | Урсатьев, А.А. |
| author_facet | Урсатьев, А.А. |
| citation_txt | Некоторые программные среды аналитики больших данных / А.А. Урсатьев // Управляющие системы и машины. — 2016. — № 3. — С. 29-42. — Бібліогр.: 33 назв. — рос. |
| collection | DSpace DC |
| container_title | Управляющие системы и машины |
| description | Изложены концептуальные вопросы построения сред обработки данных – кластерных систем на программной платформе Hadoop. Описана инфраструктура HadoopMapReduce для организации параллельных распределенных вычислений над данны ми и показано эволюционное преобразование платформы Hadoop применительно к интерактивным и потоковым динамиче ским нагрузкам.
Викладено концептуальні питання побудови середовищ обробки даних – кластерных систем на програмній платформі Hadoop. Описано інфраструктуру HadoopMapReduce для організації паралельних розподілених обчислень над даними і показано ево люційне перетворення платформи Hadoop стосовно інтерактивних і потокових динамічних навантажень.
improvement of the traditional processing technology and to create the advanced analytics environments. The conceptual issues of data media construction, in particular, on the Hadoop cluster system software platform is presented. The HadoopMapReduce infrastructure is described for the parallel distributed computing on the data and the evolutionary transformation of Hadoop platform using the infrastructure and streaming dynamic loads, as well as HadoopMapReduce infrastructure constraints. It is shown that an introduction of YARN (Yet Another Resource Negotiator) on the computing Hadoop platform allows to perform the different workloads in a linearly scalable cluster Hadoop YARN (Hadoop 2.0), achieving calculations of the high efficiency. Frameworks, Spark, Tez and Storm use the possibility of YARN . The components that make a total Hadoop 2.0 de facto the standard technology for working with Big Data are analyzed. These are the constructions Hive for design-oriented interactive queries to SQL-like language HQL (Hive query language) and working with large data storage; Pig – a high-level procedure language Pig Latin, designed for accessing the semidistributed lennym datasets; HBase – distributed non-relational DBMS, working effectively with the individual records in real time; Apache Accumulo – oriented on a high level of safety distributed, scalable data repository with the strict requirements of the information and personal data protection. The problems of large data efficiently various types download of Hadoop ecosystem using Hive and Pig. A comparative analysis of ELT (extract-load-transform) and ETL
|
| first_indexed | 2025-12-07T16:54:14Z |
| format | Article |
| fulltext | |
| id | nasplib_isofts_kiev_ua-123456789-113330 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0130-5395 |
| language | Russian |
| last_indexed | 2025-12-07T16:54:14Z |
| publishDate | 2016 |
| publisher | Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України |
| record_format | dspace |
| spelling | Урсатьев, А.А. 2017-02-06T15:28:50Z 2017-02-06T15:28:50Z 2016 Некоторые программные среды аналитики больших данных / А.А. Урсатьев // Управляющие системы и машины. — 2016. — № 3. — С. 29-42. — Бібліогр.: 33 назв. — рос. 0130-5395 https://nasplib.isofts.kiev.ua/handle/123456789/113330 004.7:004.75:004.9:004.738.5 Изложены концептуальные вопросы построения сред обработки данных – кластерных систем на программной платформе Hadoop. Описана инфраструктура HadoopMapReduce для организации параллельных распределенных вычислений над данны ми и показано эволюционное преобразование платформы Hadoop применительно к интерактивным и потоковым динамиче ским нагрузкам. Викладено концептуальні питання побудови середовищ обробки даних – кластерных систем на програмній платформі Hadoop. Описано інфраструктуру HadoopMapReduce для організації паралельних розподілених обчислень над даними і показано ево люційне перетворення платформи Hadoop стосовно інтерактивних і потокових динамічних навантажень. improvement of the traditional processing technology and to create the advanced analytics environments. The conceptual issues of data media construction, in particular, on the Hadoop cluster system software platform is presented. The HadoopMapReduce infrastructure is described for the parallel distributed computing on the data and the evolutionary transformation of Hadoop platform using the infrastructure and streaming dynamic loads, as well as HadoopMapReduce infrastructure constraints. It is shown that an introduction of YARN (Yet Another Resource Negotiator) on the computing Hadoop platform allows to perform the different workloads in a linearly scalable cluster Hadoop YARN (Hadoop 2.0), achieving calculations of the high efficiency. Frameworks, Spark, Tez and Storm use the possibility of YARN . The components that make a total Hadoop 2.0 de facto the standard technology for working with Big Data are analyzed. These are the constructions Hive for design-oriented interactive queries to SQL-like language HQL (Hive query language) and working with large data storage; Pig – a high-level procedure language Pig Latin, designed for accessing the semidistributed lennym datasets; HBase – distributed non-relational DBMS, working effectively with the individual records in real time; Apache Accumulo – oriented on a high level of safety distributed, scalable data repository with the strict requirements of the information and personal data protection. The problems of large data efficiently various types download of Hadoop ecosystem using Hive and Pig. A comparative analysis of ELT (extract-load-transform) and ETL ru Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України Управляющие системы и машины Методы и средства обработки данных и знаний Некоторые программные среды аналитики больших данных Деякі програмні середовища аналітики великих даних SomeFrameworks forAnalytics Big Data Article published earlier |
| spellingShingle | Некоторые программные среды аналитики больших данных Урсатьев, А.А. Методы и средства обработки данных и знаний |
| title | Некоторые программные среды аналитики больших данных |
| title_alt | Деякі програмні середовища аналітики великих даних SomeFrameworks forAnalytics Big Data |
| title_full | Некоторые программные среды аналитики больших данных |
| title_fullStr | Некоторые программные среды аналитики больших данных |
| title_full_unstemmed | Некоторые программные среды аналитики больших данных |
| title_short | Некоторые программные среды аналитики больших данных |
| title_sort | некоторые программные среды аналитики больших данных |
| topic | Методы и средства обработки данных и знаний |
| topic_facet | Методы и средства обработки данных и знаний |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/113330 |
| work_keys_str_mv | AT ursatʹevaa nekotoryeprogrammnyesredyanalitikibolʹšihdannyh AT ursatʹevaa deâkíprogramníseredoviŝaanalítikivelikihdanih AT ursatʹevaa someframeworksforanalyticsbigdata |