Wydajny zaawansowany translator SQL do MapReduce poprawiaj¿cy przetwarzanie du¿ych zbiorów danych

MapReduce stało się skutecznym frameworkiem do przetwarzania i analizowania ogromnych zbiorów danych w dużych systemach. Z drugiej strony, zapytania SQL są niezbędne do stworzenia wydajnego i elastycznego translatora SQL do frameworka MapReduce. Istnieje pilna potrzeba stworzenia zoptymalizowanego translatora SQL, który będzie w stanie obsłużyć zaawansowane zapytania, co pozwoli zwiększyć wydajność analizy danych wraz z rosnącą ilością danych BigBig Data DataData. Hive obsługuje zapytania zwane HiveQL. HiveQL oferuje te same funkcje co SQL, ale nadal trudno jest obsłużyć złożone zapytania SQL. W rezultacie ręczne tłumaczenie HiveQL często prowadzi do słabej wydajności. Ponadto Flink stał się skutecznym frameworkiem do analizy Big Data w dużych systemach klastrowych. Z drugiej strony, FLink nie obsługuje żadnego języka zapytań. Dlatego też, aby wykonać zapytanie SQL w FLink, konieczne jest zaprojektowanie i wdrożenie translatora SQL do FLink. Praca przedstawiona w niniejszej książce uwzględnia te ograniczenia translatorów SQL i proponuje dwa rozwiązania, które można uznać za translatory SQL do MapReduce, mające na celu usprawnienie analizy Big Data.