IDL w klastrze
W przypadku wykorzystywania oprogramowania IDL w środowiskach klastrowych, wykorzystywany jest IDL Engine dla środowisk obliczeniowych. IDL Engine może być zarządzany przez Geospatial Services Framework (GSF), który jest komponentem opartym o architekturę dla przetwarzania chmurowego.
IDL Engine umożliwia wykonywanie zadań bazujących na środowisku języka IDL. Zwykle są to indywidualne zadania użytkownika, wykonujące przetwarzanie danych w oparciu o procedury IDL.
Schemat licencyjny przetwarzania działa w oparciu o dystrybuowanie i wykonywanie prekompilowanych procesów, dlatego wymagane jest środowisko programistyczne IDL (wersja desktopowa), celem edycji kodu i możliwości zmian w workflow i zadaniach.
Licencje IDL Engine są rozumiane jako możliwość wykonywania równoległych procesów i dodatkowo wymagają środowiska Geospatial Services Framework (dostępnego oddzielnie). Pojedyncze licencje IDL Engine pozwalają na uruchomienie do 10 jednoczesnych procesów. W celu uruchomienia większej niż10 liczby procesów równoległych należy nabyć stosowną liczbę licencji IDL Engine.
Więcej na ten temat: http://www.harrisgeospatial.com/docs/The__Thread_Pool.html
Użytkownik może zrównoleglić procedury IDL poprzez użycie funkcji IDL_IDLBRIDGE.
Więcej tu: https://www.harrisgeospatial.com/docs/IDL_IDLBridge.html
Oprogramowanie GSF wprowadza orkiestrację dla wykonywanych zadań w klastrze. Manager zadań steruje kolejką oczekujących zadań i kieruje je do wykonania na zasoby dostępne z perspektywy sprzętowej licencyjnej.
GSF może być umieszczony na serwerze wieloprocesorowym lub w środowisku klastrowym (wielo nodowym/serwerowym). Rekomendowane jest używanie GSF razem z wysokowydajnymi zasobami zapisu/odczytu danych. Minimalne wymagania są następujące:
Opis techniczny oraz pomoc online dla systemu GSF dostępne są na stronie producenta
https://www.harrisgeospatial.com/docs/routines-174.html
IDL Engine umożliwia wykonywanie zadań bazujących na środowisku języka IDL. Zwykle są to indywidualne zadania użytkownika, wykonujące przetwarzanie danych w oparciu o procedury IDL.
Schemat licencyjny przetwarzania działa w oparciu o dystrybuowanie i wykonywanie prekompilowanych procesów, dlatego wymagane jest środowisko programistyczne IDL (wersja desktopowa), celem edycji kodu i możliwości zmian w workflow i zadaniach.
Licencjonowanie
GSF jest licencjonowany w modelu site, tj. obsługującym całe środowisko rozproszone klienta. Możliwym jest wykorzystywanie oprogramowania przez wielu użytkowników w sposób równoległy. Każdy z użytkowników, który należy do grupy GSF, może wykonywać sekwencyjnie zadanie po zadaniu, wykorzystując wszystkie zasoby sprzętowe (CPU, GPU) korespondujące z nodem. Po zakończeniu przetwarzania, rezultaty są przekazywane do managera zadań, pozwalając na rozpoczęcie wykonywania następnego zadania znajdującego w kolejce.Licencje IDL Engine są rozumiane jako możliwość wykonywania równoległych procesów i dodatkowo wymagają środowiska Geospatial Services Framework (dostępnego oddzielnie). Pojedyncze licencje IDL Engine pozwalają na uruchomienie do 10 jednoczesnych procesów. W celu uruchomienia większej niż10 liczby procesów równoległych należy nabyć stosowną liczbę licencji IDL Engine.
Wielowątkowość i przetwarzanie równoległe
Oprogramowanie IDL wspiera wielowątkowość tj. może wykorzystywać wiele procesorów systemu w celu przyspieszenia przetwarzania obliczeń. W zależności od rozmiaru zadania, IDL automatycznie decyduje kiedy użyć zasobów wątkowych maszyny.Więcej na ten temat: http://www.harrisgeospatial.com/docs/The__Thread_Pool.html
Użytkownik może zrównoleglić procedury IDL poprzez użycie funkcji IDL_IDLBRIDGE.
Więcej tu: https://www.harrisgeospatial.com/docs/IDL_IDLBridge.html
Oprogramowanie GSF wprowadza orkiestrację dla wykonywanych zadań w klastrze. Manager zadań steruje kolejką oczekujących zadań i kieruje je do wykonania na zasoby dostępne z perspektywy sprzętowej licencyjnej.
Moduły
Moduły GFS zawiera następujące, gotowe do użycia moduły:- Request Handler – zawiera REST API, umożliwiające podłączanie się z użyciem protokołu HTTP, w celu inicjacji zadań, pobieranie statusów i dostęp do zasobów
- Parameter Mapper – mapuje zasoby i komunikuje (wraz z translacją) z odpowiednimi źródłami danych takimi jak Amazon 3S, GeoServer WCS i ENVI
- Engines – mapuje i wykonuje zadania poprzez implementację modułu JavaScript i dostępnego API
- Route Mapper – pozwala kolejkować określone zadania, procesy i przepływy prac
- Workspace Manager – tworzy i zarządza plikami roboczymi dla każdego z zadań, które mogą być dystrybuowane lokalnie oraz współdzielone poprzez wykorzystanie zasobów chmurowych
- Job Manager – zatwierdza do wykonywania zadania wraz z parametrami
Wymagania systemowe
Do integracji z GDF może być użyty dowolny klient HTTP. GSF pozwala na użycie standardowego protokołu „http://REST”, umożliwiającego równoczesny dostęp poprzez cienkiego klienta (przeglądarka, mobilnie).GSF może być umieszczony na serwerze wieloprocesorowym lub w środowisku klastrowym (wielo nodowym/serwerowym). Rekomendowane jest używanie GSF razem z wysokowydajnymi zasobami zapisu/odczytu danych. Minimalne wymagania są następujące:
- Windows Server 2012 lub Linux (Centos/Red Hat)
- 8-16 cores CPU (lub lepszy)
- 64 GB RAM (lub lepszy)
- minimum 4-5 TB przestrzeni dyskowej (w zależności od danych), łącznie z szybki lokalnym zasobem dyskowym (dyski SSD)
- szybkie łącze Ethernet
Opis techniczny oraz pomoc online dla systemu GSF dostępne są na stronie producenta
https://www.harrisgeospatial.com/docs/routines-174.html