НАУКА и ОБРАЗОВАНИЕ

Файл статьи: SE-BMSTU...o240.pdf (1047.35Кб)

УДК [004.6+004.272.42+004.4]::001.5:[519.6+519.7+519.8]

Россия,  МГТУ им. Н.Э. Баумана

В статье приводится определение Big Data на основе 5V (Volume – объём, Variety – разнообразие, Velocity – скорость,  Veracity – достоверность, Value – ценность), а также представлены примеры задач, требующих использования инструментов Big Data, из различных областей деятельности: здравоохранение, образование, финансовые услуги, промышленность, сельское хозяйство, логистика, розничная торговля, информационные технологии, телекоммуникации и других. Представлен обзор инструментов Big Data, включающий продукты c открытым исходным кодом, платформы IBM Bluemix и SAP HANA. Показаны примеры архитектуры корпоративных систем обработки данных и управления с использованием инструментов Big Data для крупных интернет-компаний и для предприятий традиционных отраслей. В рамках обзора предложена классификация инструментов Big Data, устраняющая недостатки ранее разработанных таких классификаций. Предложенная схема классификации содержит 19 классов и позволяет охватить несколько сотен существующих и разрабатываемых продуктов.
Появление и использование инструментов Big Data помимо решения практических задач влияет на развитие дисциплин, связанных с моделированием технических, естественных или социально-экономических систем, решением задач на основе построенных моделей. В составе этих дисциплин появляются новые направления. Эти новые направления решают свойственные каждой дисциплине задачи, но для систем, содержащих значительно большее количество отдельных элементов и связей между ними. Характеристики задач, решаемых в рамках новых направлений, не всегда соответствуют критериям Big Data. Направление Big Data предлагается идентифицировать как раздел теории алгоритмов сортировки и поиска данных. В других дисциплинах возникают свои направления, которые предложено назвать по аналогии с Big Data: Big Calculation - в численных методах, Big Simulation - в имитационном моделировании, Big Management - в управлении социально-экономическими системами, Big Optimal Control - в теории оптимального управления. Показаны примеры решаемых задач и методов, развиваемых в рамках новых направлений. Выявленная тенденция не ограничивается рассмотренными дисциплинами, в качестве других примеров перечислены: теория графов, математическая статистика, теория игр, исследование операций.

1. Demchenko Y. Defining the Big Data Architecture Framework (BDAF). Outcome of the Brainstorming Session at the University of Amsterdam. SNE Group. University of Amsterdam, Amsterdam, 2013. Режим доступа : http://bigdatawg.nist.gov/_uploadfiles/M0055_v1_7606723276.pdf ( дата обращения 03.02.2015).
2. Parker D. Changing the World with Big Data. Real-time with Real Results // IGEL (Initiative for Global Environmental Leadership) бизнес - школы Wharton School в университете штата Pennsylvania: сайт , ноябрь 2013. Режим доступа: http://igel.wpengine.netdna-cdn.com/wp-content/uploads/2013/11/David-Parker.pdf (дата обращения 03.02.2015).
3. Financial Services // Datameer: c айт компании . Режим доступа: http://www.datameer.com/solutions/industries/financial-services.html (дата обращения 03.02.2015).
4. Beloussov S. Cloud computing is now IT // Proc. of Parallels Summit 2014. Parallels : сайт компании. Режим доступа: http://sp.parallels.com/fileadmin/media/hcap/events/summit/2014/documents/Summit2014-keynote-SergueiBeloussov.pdf (дата обращения 03.02.2015).
5. The Body as a Source of Big Data // The Institute for Health Technology Transformation: c айт . Режим доступа: http://ihealthtran.com/images/Infographic-the-body-as-a-source-of-big-data-HealthIT-Infographic-NetApp-Infographic.pdf (дата обращения 03.02.2015).
6. Sustainability in the Age of Big Data. Special Report // IGEL (Initiative for Global Environmental Leadership) бизнес - школы Wharton School в университете штата Pennsylvania: сайт , сентябрь 2014. Режим доступа: http://d1c25a6gwz7q5e.cloudfront.net/reports/2014-09-12-Sustainability-in-the-Age-of-Big-Data.pdf (дата обращения 03.02.2015).
7. A Focus on Efficiency. A whitepaper from Facebook, Ericsson and Qualcomm. 16 сентября 2013. Режим доступа: https://fbcdn-dragon-a.akamaihd.net/hphotos-ak-prn1/851575_520797877991079_393255490_n.pdf (дата обращения 03.02.2015).
8. About Twitter, Inc. // Twitter, Inc. : сайт . Режим доступа:https://about.twitter.com/company (дата обращения 03.02.2015).
9. Asay M. Why the world's largest Hadoop installation may soon become the norm // Techrepublic: сайт , 12 сентября 2014. Режим доступа: http://www.techrepublic.com/article/why-the-worlds-largest-hadoop-installation-may-soon-become-the-norm/ (дата обращения 03.02.2015).
10. Retail // Datameer: сайт компании. Режим доступа: http://www.datameer.com/solutions/industries/retail.html (дата обращения 03.02.2015).
11. Telecommunications // Datameer: сайт компании. Режим доступа: http://www.datameer.com/solutions/industries/telecommunications.html (дата обращения 03.02.2015).
12. van Rijmenam M. Big Data Will Revolutionize Education // DATAFLOO: сайт , 29 апреля 2014. Режим доступа:https://datafloq.com/read/big-data-will-revolutionize-learning/206 (дата обращения 03.02.2015).
13. Dalisay T. Big Data in Education: Big Potential or Big Mistake // Socialnomics: сайт , 13 января 2014. Режим доступа:http://www.socialnomics.net/2014/03/05/big-data-in-education-big-potential-or-big-mistake/(дата обращения 03.02.2015).
14. Уайт Т. Hadoop. Подробное руководство: пер. с англ. СПб.: Питер, 2013. 672 с. (Сер. Бестселлеры O’Reilly) .
15. Емельянов И. Как обновление Hadoop 2.0 сделало «большие данные» доступнее для бизнеса // CIO: сайт, 17 октября 2013. Режим доступа: http://www.computerra.ru/cio/5598 (дата обращения 03.02.2015).
16. Weil S.A., Brandt S.A., Miller E.L, Long D.D.E., Maltzahn C. Ceph: A Scalable, High-Performance Distributed File System // OSDI ’06: 7th USENIX Symposium on Operating Systems Design and Implementation, 2006. P . 307-320. Режим доступа: http://static.usenix.org/event/osdi06/tech/full_papers/weil/weil.pdf (дата обращения 03.02.2015).
17. Brim M.J., Dillow D.A, Oral S., Settlemyer B.W., Wang F. Asynchronous Object Storage with QoS for Scientific and Commercial Big Data // 8th Parallel Data Storage Workshop, November 18, 2013, Denver, CO. Режим доступа: http://www.pdsw.org/pdsw13/papers/p7-pdsw13-brim.pdf (дата обращения 03.02.2015).
18. Depardon B., Le Mahec G., Seguin C. Analysis of Six Distributed File Systems. Research Report HAL Id: hal-00789086, 2013. 44 p. Режим доступа : https://hal.inria.fr/hal-00789086/PDF/a_survey_of_dfs.pdf ( дата обращения 03.02.2015).
19. Donvito G., Marzulli G., Diacono D. Testing of several distributed file-systems (HDFS, Ceph and GlusterFS) for supporting the HEP experiments analysis // Journal of Physics: Conference Series: 20th International Conference on Computing in High Energy and Nuclear Physics (CHEP2013). IOP Publishing, 2014. Vol. 513. Art. no. 042014. DOI:10.1088/1742-6596/513/4/042014
20. Harris D. Because Hadoop isn’t perfect: 8 ways to replace HDFS // GIGAOM: сайт , 11 июля 2012. Режим доступа:https://gigaom.com/2012/07/11/because-hadoop-isnt-perfect-8-ways-to-replace-hdfs/(дата обращения 03.02.2015).
21. Kerzner M., Maniyam S. Chapter 12. Big Data Ecosystem // Hadoop Illuminated, 2014. Режим доступа:http://hadoopilluminated.com/hadoop_illuminated/Bigdata_Ecosystem.html (дата обращения 03.02.2015).
22. Powlas T. Big Data in an SAP Landscape – ASUG Webcast Part 1 // SAP Community Network: сайт , 29 декабря 2013. Режим доступа: http://scn.sap.com/community/business-intelligence/blog/2013/12/29/big-data-in-an-sap-landscape-asug-webcast-part-1 (дата обращения 03.02.2015).
23. The Hadoop Ecosystem Table // GitHub: сайт . Режим доступа: http://hadoopecosystemtable.github.io/ (дата обращения 03.02.2015).
24. Big Data Overview: презентация IBM на семинаре Big Data & Analytics Day. Москва, 27 января 2015 года.
25. SAP HANA® Database for Next-Generation Business Applications and Real-Time Analytics. Explore and Analyze Vast Quantities of Data from Virtually Any Source at the Speed of Thought. SAP AG , 10 October 2013. 18 p . Режим доступа:http://www.slideshare.net/SAPMENA/hana-27077351 (дата обращения 03.02.2015).
26. SAP HANA Master Guide. SAP HANA Platform SPS 09. Document Version : 1.1 (2014-12-17). SAP AG . 84 p . Режим доступа:http://help.sap.com/hana/SAP_HANA_Master_Guide_en.pdf (дата обращения 03.02.2015).
27. Arnold A. In-memory Database Architecture & Landscape Options for a Real-time Business. SAP AG , October 2014. 33 p . Режим доступа:https://hcp.sap.com/content/dam/website/saphana/en_us/Technology%20Documents/SAP%20HANA%20Architecture%20and%20Landscape%20Options.pdf (дата обращения 03.02.2015).
28. Watts D., Krutov I. xREF: IBM x86 Server Reference. IBM , 2015. Режим доступа:http://www.redbooks.ibm.com/redpapers/pdfs/redpxref.pdf (дата обращения 03.02.2015).
29. Hauff C. Big Data Processing, 2014/15. Lecture 5: GFS & HDFS // Delft University of Technology: сайт . Нидерланды. Режим доступа:http://www.st.ewi.tudelft.nl/~hauff/BDP-Lectures/5_filesystem_gfs_hdfs.pdf (дата обращения 03.02.2015).
30. Lovett M. Apache Hadoop: The Open Source Elephant of Big Data // Trenton Systems: c айт компании , 6 июля 2012. Режим доступа:http://blog.trentonsystems.com/apache-hadoop-the-open-source-elephant-of-big-data/(дата обращения 03.02.2015).
31. Popescu A., Bacalu A.-M. Life of Data at Facebook // myNoSQL : сайт , 3 сентября 2012. Режим доступа:http://nosql.mypopescu.com/post/30815314471/life-of-data-at-facebook (дата обращения 03.02.2015).
32. Evans B., Graves T. Storm and Spark at Yahoo: Why Chose One Over the Other // yahoohadoop: сайт , 18 сентября 2014. Режим доступа:http://yahoohadoop.tumblr.com/post/98213421641/storm-and-spark-at-yahoo-why-chose-one-over-the (дата обращения 03.02.2015).
33. Singh  S. Apache HBase at Yahoo! – Multi-tenancy at the Helm Again // Yahoo Developer Network: сайт , 7 июня 2013. Режим доступа:https://developer.yahoo.com/blogs/hadoop/apache-hbase-yahoo-multi-tenancy-helm-again-171710422.html#more-id (дата обращения 03.02.2015).
34. Zicari R.V. Hadoop at Yahoo. Interview with Mithun Radhakrishnan: интервью // ODBMS Industry Watch: сайт , 21 сентября 2014. Режим доступа:http://www.odbms.org/blog/2014/09/interview-mithun-radhakrishnan/ (дата обращения 03.02.2015).
35. Feng A., Evans B., Dagit D., Patil K., Poulosky P., Kapur D., Lal A. The Evolution of Storm at Yahoo and Apache // yahoohadoop : сайт , 29 сентября 2014. Режим доступа: http://yahoohadoop.tumblr.com/post/98751512631/the-evolution-of-storm-at-yahoo-and-apache (дата обращения 03.02.2015).
36. Лапань М. Практическое слоноводство: презентация // Семинар Hadoop Kitchen в Mail.Ru Group, 27 сентября 2014. Режим доступа: http://www.youtube.com/watch?v=QAejaeTvj_M начало с 1:20:40 (дата обращения 03.02.2015).
37. Burdett D., Tripathi R. CIO Guide. How to Use Hadoop with Your SAP® Software Landscape. SAP AG , Февраль 2013. 40 p . Режим доступа:http://hortonworks.com/wp-content/uploads/2013/09/CIO.Guide_.How_.to_.Use_.Hadoop.with_.Your_.SAP_.Software.Landscape.pdf(дата обращения 03.02.2015).
38. Powlas T. Using HANA and Hadoop, Key Scenarios - Part 2 ASUG Big Data Webcast // SAP Community Network: сайт , 29 декабря 2013. Режим доступа: http://scn.sap.com/community/business-intelligence/blog/2013/12/29/using-hana-and-hadoop-key-scenarios (дата обращения 03.02.2015).
39. Powlas T. Fitting Hadoop in an SAP Software Landscape – Part 3 ASUG Webcast // SAP Community Network: сайт , 29 декабря 2013. Режим доступа: http://scn.sap.com/community/business-intelligence/blog/2013/12/29/fitting-hadoop-in-an-sap-software-landscape-part-3-asug-webcast (дата обращения 03.02.2015).
40. Eacrett M. What is new in SAP HANA SPS 09 // SAP HANA: сайт , 21 октября 2014. Режим доступа: https://blogs.saphana.com/2014/10/21/what-is-new-in-sap-hana-sps-09/ (дата обращения 03.02.2015).
41. Hagman M. Guinness World Record – Largest Data Warehouse // SAP HANA: сайт , 5 марта 2014. Режим доступа: https://blogs.saphana.com/2014/03/05/guinness-world-record-largest-data-warehouse/ (дата обращения 03.02.2015).
42. Кнут Д.Э. Искусство программирования. Т. 3. Сортировка и поиск: пер. с англ. М .: Вильямс , 2012. 824 с .
43. Воеводин В. В., Воеводин Вл. В. Параллельные вычисления. СПб.: БХВ-Петербург, 2002. 608 с.
44. Analytics and Big Data and ROI…Oh My! : презентация учеб . материала // BlueSpire : сайт компании , 16 сентября 2014. Режим доступа:http://www.slideshare.net/bluespiremarketing/analytics-and-big-data-and-roioh-my-trendlab-webinar (дата обращения 03.02.2015).
45. Кочетов Ю. А., Младенович Н., Хансен П. Локальный поиск с чередующимися окрестностями // Дискретный анализ и исследование операций. 2003. Т . 10, № 1. С . 11-43.
46. Braun H. Optimization with Grid Computing // Workshop on Cyberinfrastructure (CI) in Chemical and Biological Process Systems: Impact and Directions, September 25-26, 2006, Arlington, VA. Режим доступа: https://smartmanufacturingcoalition.org/sites/default/files/optimization_with_grid_computing.pdf (дата обращения 03.02.2015).
47. Макаров В.Л., Бахтизин А.Р., Васенин В.А., Роганов В.А., Трифонов И.А. Средства суперкомпьютерных систем для работы с агент-ориентированными моделями // Программная инженерия. 2011. № 3. С . 2-14.
48. Fegaras L. Supporting Bulk Synchronous Parallelism in Map-Reduce Queries // University of Texas at Arlington: сайт , 2012. Режим доступа: http://lambda.uta.edu/mrql-bsp.pdf (дата обращения 03.02.2015).
49. Сухобоков А. А. Исследование и разработка моделей и архитектуры средств контроллинга для межрегиональных предприятий в составе систем класса ERP II: дис. … канд. техн. наук. М., МГТУ им. Баумана, 2009. 196 с.
50. Маджара Т. И. Интеллектуальная система для решения задач оптимального управления с вычислительными особенностями: дис. ... канд. техн. наук. Владивосток, Ин-т автоматики и процессов управления ДВО РАН, 2011. 149 с.