Архітектура даних
Архітектура даних - навчальна дисципліна спрямована на формування системи знань про можливості застосування сучасних цифрових технологій різного спрямування для формування інформаційної бази менеджменту мікро- та макрорівня, прийняття, реалізації ефективних управлінських рішень та здійснення контролю за їх виконанням.
Сучасні тренди і перспективи розвитку цифрової економіки в Україні і світі
Останніми десятиліттями однією з головних тенденцій розвитку економіки і суспільства загалом є проникнення інформаційних технологій у різні сфери діяльності людини. Інформатизація стає настільки важливим фактором зростання продуктивності праці і підвищення якості життя, що зміни, які відбуваються, розглядаються дослідниками як настання нової ери економічного розвитку, який в літературі характеризується терміном “цифрова, або інформаційна економіка”. Сьогодні розвиток інформатизації насамперед пов’язаний із впровадженням цифрових комунікаційних технологій і платформ, для яких Інтернет і мобільні пристрої є основою. Сектори економіки, засновані на інформаційних і комунікативних технологіях, отримали назву “цифрова економіка”.
Формування цифрової економіки України передбачає створення ефективних ринкових умов стосовно використання цифрових технологій, товарів і послуг у вітчизняних секторах економіки, впровадження цифровізації в більшість бізнес процесів та у сфери життєдіяльності людей, що стане основою для підвищення конкурентоспроможності українських продукції та послуг, стимулюватиме зростання національної економіки і, відповідно, є однією з першочергових умов для покращення благополуччя населення.
Впровадження цифрової економіки в Україні на початковому етапі має відбуватися одночасно за трьома наступними напрямами:
технологічним, де всі рішення техніко-технологічного характеру, повині бути стандартизовані, тобто бути безпечним та сертифікованими;
інституційно-економічним, який передбачає організацію нових моделей управління та бізнес моделей з використанням розумних речей, промислового Інтернет-речей, блокчейн технології, її інституційного забезпечення, відповідати нормативно-правовій базі соціально-економічних відносин суспільства;
виробничим, що включає в себе конкретні бізнес додатки, які відповідають вимогам моделей управління другого напряму, який базується на технічному забезпеченні та інфраструктурі першого напряму.
Існують два основні підходи до визначення ролі і місця цифровізації у світовому промисловому виробництві. Один з них трактує сучасний етап впровадження інформаційно-технологічних досягнень як еволюційний, другий – як революційний. Відповідно до другого, цифрова економіка розглядається як основа Четвертої промислової революції, оскільки чітко простежується зміна базової технології і є ознаки зміни техніко-економічної парадигми. Сучасний етап промислової революції пов’язаний з розвитком комунікативних Інтернет-техногій, які суттєво змінили технологію бізнес-процесів і отримали назву “цифровізації”. Таким чином, основою Четвертої промислової революції та третьої хвилі глобалізації стала цифрова економіка.
Джерела:
Архітектура даних і штучний інтелект
Штучний інтелект (AI) — це здатність комп’ютера розв’язувати завдання, які зазвичай є характерними для людини. Його важливими характеристиками є вміння постійно навчатися та швидко обробляти інформацію. Навчання полягає у вивченні закономірностей, які існують у даних, для вдосконалення результативности роботи. Штучний інтелект — це загальний термін, що об’єднує низку конкретних технологій, таких як машинне навчання, обробка природної мови, комп’ютерний зір і робототехніка.
Розвиток штучного інтелекту бере початок із середини ХХ століття. Однак тривалий час він стикався з різноманітними перепонами. Остання хвиля інтересу до цієї технології виникла з початком 2010-х років. Адже активно почали розвиватись обчислювальні можливості комп’ютерів, з’явилися великі масиви даних, що генеруються соціальними мережами, застосунками, сенсорами й датчиками, удосконалювались алгоритми та їх спрямування на розв’язання практичних проблем.
Сьогодні штучний інтелект використовується для розв’язання низки завдань у бізнесі й урядуванні: прогнозування та вибір найбільш оптимальних рішень, класифікація та пошук інформації, розпізнавання об’єктів на фото та відео, зокрема розпізнавання облич. Крім того, AI використовують для перекладу тексту, розпізнавання голосового мовлення, прокладення маршрутів, прогнозування часу прибуття транспорту та навіть для створення зображень, текстів, музичних творів і відео.
Є три основні підходи, які пов’язують відкриті дані та штучний інтелект. По-перше, відкриті дані використовуються для тренування моделей машинного навчання. Ці моделі потім можуть перетворювати неструктуровану інформацію (зображення, відео, звук) на структуровані дані, які застосовуються для потреб бізнесу або уряду. По-друге, алгоритми машинного навчання використовуються для передового аналізу відкритих даних. Це дає змогу заощадити час і зусилля людей, а також досягти вищої точности й ефективности аналізу. Адже алгоритми можуть знаходити шаблони в датасетах, робити прогнози, визначати оптимальні рішення й інформувати про їхній вплив. По-третє, наявність відкритих даних стимулює зацікавлені сторони до дослідження й використання можливостей штучного інтелекту.
Джерела:
Цифрові технології в публічному управлінні
Цифрові технології у публічному управлінні – це єдина система взаємопов’язаних засобів та прийомів, за допомогою яких здійснюється збір, обробка, фіксація, зберігання вхідної, а також формування та поширення вихідної інформації особливим – цифровим способом, організована на всіх рівнях та у всіх сферах публічного управління, яка дозволяє підвищити ефективність публічного управління, автоматизувати деякі його процеси.
У законодавстві України застосовується значна кількість понять та термінів, пов’язаних із використанням цифрових технологій у публічному управлінні. Центральне місце серед них займають поняття «електронне урядування» та «електронний уряд». Перше – має найбільш широке значення, яке охоплює всю систему публічного управління на основі застосування цифрових технологій. Навколо цього поняття вибудовується система інших понять, зокрема, тих, що характеризують інфраструктурне забезпечення електронного урядування (інформаційна (автоматизована) система, інформаційно-телекомунікаційна система), тих, що визначають способи реалізації завдань електронного урядування (електронна послуга, електронний документообіг), тих, що є результатом функціонування системи електронного урядування (електронний документ).
Напрямки розвитку теоретичного аналізу процесів цифровізації публічного управління є наступні:
виявлення найбільш оптимальних напрямків поєднання окремих інструментів цифровізації публічного управління;
кількісна оцінка основних ризиків, пов’язаних з процесами цифровізації публічного управління;
розробка державних програм, орієнтованих на підвищення ефективності цифровізації.
Джерела:
Хмарні цифрові технології
Хмарні технології — це можливість використання обчислювальних ресурсів і пам’яті спільного пулу віддалених серверів. Наприклад, коли ви працюєте в Google Docs, то вам не треба ані інсталювати цю програму, ані зберігати файли в пам’яті вашого комп’ютера — все зберігається на серверах Google, а ви отримуєте доступ до цих ресурсів за допомогою браузера.
Програми, які працюють за таким принципом, називаються «програмне забезпечення як послуга» (Software as a Service, SaaS). Це найпопулярніший вид хмарних послуг.
Хмарне програмне забезпечення не займає місця в пам’яті вашого пристрою, не вимагає значних обчислювальних ресурсів (усю роботу виконують хмарні сервери) і зазвичай є фінансово вигіднішим: користувач не купує програму, а оплачує місячний або річний абонемент.
За архітектурою хмарні технології поділяються на такі типи:
Публічна хмара. У цьому випадку користуватися онлайн-сервісом може кожен, кому потрібне хмарне середовище, у тому числі приватні особи та компанії. Але треба розуміти, що при цьому забезпечується індивідуальна конфіденційність – ніхто з користувачів не може отримати доступ до приватної інформації без дозволу власника. Також клієнти не можуть самостійно змінювати встановлені розробником параметри.
Приватна хмара. Сервіс із такою архітектурою створений виключно для користування одним споживачем. Усі компоненти сервісу можуть бути розміщені будь-де – повністю орендовані у провайдера або розташовані безпосередньо у клієнта.
Гібридна хмара. Мається на увазі поєднання функцій обох вищеописаних хмар. Подібна форма онлайн-сервісу дозволяє максимально використати можливості обох структур.
Ключову роль в розвитку хмарних обчислень зіграв Amazon, модернізувавши свої центри обробки даних, які, як і більшість комп'ютерних мереж в один момент часу використовують лише 10 % своєї потужності, заради забезпечення надійності при стрибку навантаження. Дізнавшись, що нова хмарна архітектура забезпечує значне внутрішнє підвищення ефективності, Amazon почав нові дослідження в галузі розвитку продуктів для забезпечення хмарних обчислень для зовнішніх клієнтів, і запустив Amazon Web Service (AWS) на основі розподілених обчислень в 2006 році.
Джерела:
Інформація про дані з урахуванням додаткових функцій і пакетів. Оцінювання інформативних статистичних параметрів. Гістограмна оцінка даних. Приклади використання гістограм. Діаграми.
Аналіз даних – це робота з даними з метою їх правильного впорядкування, інтерпретування за допомогою аналітичних та статистичних інструментів, пошуку корисної інформації для прийняття раціональних рішень. Існує багато універсальних та спеціалізованих мов програмування, програмних пакетів, веб сервісів для аналізу та візуалізації даних.
Excel для Microsoft 365
Якщо потрібно провести комплексний статистичний або інженерний аналіз, можна зберегти зусилля та час, скориставшись пакетом аналізу. Ви надаєте дані та параметри для кожного аналізу, а засіб використовує усі потрібні статистичні або інженерні макрофункції для проведення підрахунку та відображає результати в таблиці результатів. Деякі засоби, окрім таблиць результатів, створюють ще й діаграми. Функції аналізу даних можна використовувати одночасно тільки на одному аркуші. Під час виконання аналізу даних на згрупованих аркушах результати відображаються на першому аркуші і пусті форматовані таблиці відобразяться на решті аркушів. Щоб виконати аналіз даних на решті аркушів перерахуйте засіб аналізу на кожному аркуші.
Google Analytics
Google Analytics – це платформа, за допомогою якої можна збирати дані з веб-сайтів і додатків та створювати звіти з корисною для вашої компанії інформацією. Збираючи дані, код об’єднує їх у пакети й надсилає в Google Analytics для подальшої обробки та складання звітів. Під час обробки даних Analytics накопичує й групує їх за певними критеріями, наприклад, за типом пристрою (мобільний телефон чи комп’ютер) або веб-переглядача користувача. Також можна налаштувати обробку даних вручну, зокрема за допомогою фільтра виключити внутрішній трафік компанії або трафік розробника.
Оцінка параметра (статистична оцінка) – це випадкова величина, розрахована за вибіркою, яка дає підстави для прийняття обґрунтованих рішень щодо невідомого параметра генеральної сукупності. Головне завдання математичної статистики в тому, щоб на підставі результатів випадкової вибірки якомога точніше оцінити значення параметрів генерального розподілу. На практиці значення числових характеристик випадкових величин, як правило, невідомі й підлягають визначенню на основі результатів спостережень. Знаючи дані спостережень, можна оцінити невідомі ймовірнісні характеристики (ймовірність випадкової події, функцію розподілу випадкової величини, математичне сподівання, дисперсію, середнє квадратичне відхилення, кореляцію та ін.), а потім висунути гіпотезу про те, що випадкове явище, яке спостерігається, може бути описане конкретною математичною моделлю – певним законом розподілу. Ця гіпотеза підлягає перевірці за допомогою математичних методів. І та математична модель, яка не суперечить фактичним статистичним даним, може описати математичні закономірності досліджуваного випадкового явища.
Гістограмна оцінка даних - це метод візуалізації та аналізу даних, який дозволяє побудувати гістограму для відображення розподілу числових даних. Гістограма - це графік, на якому дані розбиваються на різні інтервали (біни) на осі X (зазвичай числова ось), і на осі Y показана кількість або частота входження значень в кожен інтервал.
Оцінка гістограмою може бути корисною для:
Візуалізації розподілу даних: Гістограма дозволяє швидко визначити, як розподілені дані - чи є вони симетричними, чи нахилені вліво чи вправо, чи є в них викиди або аномальні значення.
Вибору підходящого статистичного розподілу: Графік гістограми може допомогти визначити, чи дані можуть бути наближені за допомогою певного статистичного розподілу, такого як нормальний розподіл.
Визначення інтервалів: Гістограма допомагає визначити оптимальні інтервали для групування даних.
Виявлення викидів: Візуальний аналіз гістограми може допомогти виявити викиди або незвичайні значення у наборі даних.
Побудувати гістограму можна за допомогою різних програмних інструментів, таких як Python з бібліотеками Matplotlib або Seaborn, R, Excel і багатьма іншими.
Діаграма — графічне зображення, що у вигляді певних графічних позначень показує співвідношення між різними величинами, які порівнюються, звичайно є графічним представленням деяких табличних даних. Одними з найвідоміших видів діаграм є графіки та гістограми.
Джерела:
Концепція «розумного» міста та її застосування в інноваційному управлінні
«Розумні» міста у ХХІ столітті стають основою економічного зростання та суспільного прогресу, оскільки відбувається трансформація функцій у традиційному розумінні через застосування інформаційних технологій, які дають змогу вирішити найскладніші проблеми та якісно змінити систему управління, що, врешті-решт, забезпечить створення умов для розвитку громади і кожної людини. Розумні міські рішення місцевої влади створюють додаткові можливості для підвищення цінності міста, його інвестиційної привабливості. Значне поширення сучасних технологічних рішень, перш за все в сферу муніципального управління, підвищує ефективність використання ресурсів, забезпечує розвиток економічного потенціалу, започаткування нових напрямів бізнесу, а також поліпшує якість життя громадян міста.
Технологічні, економічні, екологічні та соціальні цілі слід розглядати компонентами рівнів чи складових концепції «розумного міста». Таким чином, модель «розумне місто» може бути втілена в життя за умови формування:
«розумної економіки» (“smart economy”) – інтелектуальної економіки або досягнення стану конкурентоспроможності міста, що досягається через розвиток підприємництва, створення коворкінг-центрів; формування інфраструктури для поширення економічної інформації тощо;
«розумних працівників» (“smart people”) – формування високоінтелектуальних людських ресурсів за рахунок підвищення рівня доступу до професійної підготовки для різних груп мешканців міста, створення системи безперервного навчання (місто як центр обміну знаннями), розвитку міських бібліотек, забезпечення доступу до комп’ютерів та Інтернету тощо;
«розумного способу життя» (“smart living”) – підвищення якості життя мешканців міста за рахунок розширення культурної пропозиції міста, вдосконалення системи освіти та охорони здоров’я, підвищення безпеки тощо;
«інтелектуального управління» (“smart governance”) – інтелектуальне управління передбачає не лише удосконалення процесів функціонування органів державного та муніципального управління, але й реальне забезпечення участі громадян у процесі прийняття рішень в місті;
«інтелектуальної мобільності» (“smart mobility”), що стосується сфери транспорту за рахунок застосування інформаційно-комунікаційних технологій, що забезпечить модернізацію громадського транспорту, доступу до високоякісних послуг міської інфраструктури, розширення зони wi-fi;
«інтелектуального навколишнього середовища» (“smart environment”), що передбачає моніторинг якості стану навколишнього середовища, сучасних систем виробництва енергії, термомодернізації будівель, збільшення міських зелених зон, розвитку сучасних систем водопостачання та каналізації.
Загалом на основі узагальнення досвіду розвитку найпопулярніших «розумних міст» світу, можна зробити такі висновки:
1) немає єдиної моделі успіху, тому стратегія міста повинна бути адаптована до кожної ситуації та вирішувати перш за все проблеми;
2) ідеального міста не існує; навіть ті, які знаходяться на перших щаблях рейтингів найрозумніших міст світу, мають слабкі сторони, тому головні завдання лежать у площині впровадження більш ефективних методів управління містом та створення більш здорових та комфортних умов життя для всіх громадян;
3) концепція “Smart city” дає змогу не лише вирішувати поточні проблеми, але й визначати стратегічні цілі розвитку міста, що буде позитивно впливати на всі сфери життєдіяльності населення.
У проектах “Smart city” повинні враховуватися найрізноманітніші аспекти: від поведінки людей до управління ресурсами та інфраструктурою. Фактично це повинна бути мережа інститутів та пов’язаних між собою механізмів, які охоплюють не тільки міські структури різного рівня, але й навколишні населені пункти і навіть інші міста. З точки зору інформаційно-комунікаційних технологій особливого значення набуває загальна оптимізація в різних сферах, тобто досягнення збалансованості матеріальних (матеріальні ресурси, продукти харчування, відходи тощо) і нематеріальних потоків (енергія, інформація тощо) на рівні всіх підсистем.
Створення розумних міст зможе попередити у майбутньому велику кількість проблем, пов’язаних з перенаселенням міст. Хоча в Україні смарт технології впроваджуються дуже повільно, вже є перші результати застосування елементів розумного міста у суспільному житті. Їхні переваги протиставлені скептицизму щодо здійснення капітальних інвестицій у інноваційні та комунікаційні технології, а це свідчить про те, що у короткостроковому періоді буде спостерігатися подальша експансія подібних новацій в усі сфери життєдіяльності населення України.
Джерела:
Кластеризація даних та архітектура даних
Кластерний аналіз — задача розбиття заданої вибірки об'єктів (ситуацій) на підмножини, які називаються кластерами, так, щоб кожен кластер складався з схожих об'єктів, а об'єкти різних кластерів істотно відрізнялися. Завдання кластеризації належить до статистичної обробки, а також до широкого класу завдань некерованого навчання.
Кластерний аналіз — це не якийсь один алгоритм, а загальна задача, для розв'язання якої використовуються різні підходи. Зокрема, алгоритми побудови кластерів можуть суттєво відрізнятись у розумінні того, що відносити в один кластер і як їх ефективно шукати. Серед популярних концепцій кластерів є групи з елементами, які утворюються ґрунтуючись на відстані між ними, на щільності ділянок у просторі даних, інтервалах або на конкретних статистичних розподілах. Тому кластеризація може бути сформульована як задача багатокритеріальної оптимізації. Відповідний алгоритм кластеризації та вибору параметрів (включаючи такі параметри, як функція відстані, порогове значення щільності або кількість очікуваних кластерів) залежать від конкретного набору даних та мети використання результатів. Кластерний аналіз як такий є не автоматизованим завданням, а ітераційним процесом виявлення знань або інтерактивної багатокритеріальної оптимізації, який містить спроби та невдачі. Часто доводиться змінювати процес опрацювання даних та параметри моделі поки не буде отримано з результат з заданими властивостями.
Оскільки поняття «кластеру» не може бути точно визначено, то це є однією з причин чому існує так багато різних методів кластеризації. Але є і спільна риса — це об'єднання схожих об'єктів у групи. Однак, різні дослідники використовують різні моделі кластерів і для кожної з цих моделей можуть бути застосовані різні алгоритми. Поняття кластера, які отримуються у різних алгоритмах, різняться властивостями. Розуміння цих «кластерних моделей» є ключовим для розуміння відмінностей між різними алгоритмами. Типовими кластерними моделями є:
Моделі зв'язності. Наприклад, ієрархічна кластеризація або таксономія будуються на основі відстані між вузлами.
Центроїдні моделі. Наприклад, метод K-середніх (K-means) представляє кожен кластер єдиним усередненим вектором.
Статистичні моделі. Кластери будуються ґрунтуючись на статистичних розподілах. Таких як багатовимірний нормальний розподіл з допомогою ЕМ-алгоритму.
Моделі засновані на щільності. Наприклад, в DBSCAN і в OPTICS кластери визначаються як зв'язані області відповідної щільності у просторі даних.
Групові моделі. Деякі алгоритми не забезпечують вдосконалену модель для своїх результатів, а просто описують групування об'єктів.
Графові моделі. Поняття кліки (така підмножина вершин, в якій кожна пара вершин з'єднана ребром) у графі слугує прототипом кластеру. Пом'якшення вимоги до повної зв'язності (тобто, частина ребер може бути відсутня) призводить до поняття відомого як квазі-кліка. Вони будуються алгоритмом HCS.
Нейронні моделі. Найбільш відомою моделлю нейронної мережі з некерованим навчанням є нейронна мережа Кохонена. Ці моделі, як правило, можна охарактеризувати як схожі на одну або подібні якійсь з наведених вище моделей, включаючи моделі у підпросторах, коли нейронні мережі реалізують метод головних компонент або аналіз незалежних компонент.
Кластеризація даних - це процес групування схожих об'єктів чи точок даних в однорідні кластери. Цей процес може відрізнятися залежно від архітектури даних та призначеного використання. Архітектура даних визначає структуру, організацію та зв'язки між даними. Ось кілька аспектів кластеризації даних, залежно від їх архітектури:
Реляційні бази даних:
В реляційних базах даних кластеризація може проводитися за допомогою алгоритмів, які групують дані на основі схожості значень полів у таблицях. Наприклад, можуть використовуватися алгоритми кластеризації, такі як k-середніх або ієрархічна кластеризація для групування подібних рядків даних.
Нереляційні бази даних (NoSQL):
У NoSQL базах даних, де дані можуть зберігатися у вигляді документів, ключ-значення чи графів, кластеризація може бути виконана з використанням алгоритмів, специфічних для цих типів даних. Наприклад, у базах даних, що зберігають документи, може використовуватися кластеризація на основі схожості текстового вмісту документів.
Дані IoT (Internet of Things):
Дані, зібрані від різноманітних датчиків та пристроїв IoT, можуть потребувати специфічних методів кластеризації. Тут можуть використовуватися алгоритми, які беруть до уваги часові ряди даних або їх просторові властивості для групування подібних об'єктів.
Зображення та відео:
Кластеризація даних, таких як зображення чи відео, може вимагати використання спеціалізованих алгоритмів, таких як аналіз текстур, візуальний пошук або глибокі нейронні мережі для групування відповідно до вмісту або характеристик об'єктів на зображеннях.
Геопросторові дані:
Для даних, пов'язаних з місцезнаходженням, кластеризація може проводитися з використанням географічних координат. Методи кластеризації можуть бути спрямовані на об'єкти, розташовані близько один до одного у фізичному просторі.
Залежно від конкретного типу даних та їх архітектури, методи кластеризації можуть варіювати, використовуючи специфічні підходи для кращого розуміння та організації даних.
Джерела:
Як стати архітектором даних
Інформаційні технології постійно розвиваються та ускладнюються. Для створення, тестування та підтримки програм потрібно все більше IT-фахівців. Одним із таких є архітектор баз даних. Це людина, яка розробляє моделі зберігання інформації, стежить за продуктивністю та безпекою системи.
Які навички повинен мати фахівець:
мати системне мислення,
вміти аналізувати інформацію,
бути командним гравцем, уважним та відповідальним.
Архітектор баз даних може працювати практично у будь-якій компанії, комерційній чи некомерційній, яка займається розробкою продуктів, науково-виробничою діяльністю чи фінансами. Розглянемо докладніше, які завдання виконує спеціаліст.
Як проходять робочі будні фахівця?
Проектує бази даних. Архітектор баз даних вивчає вимоги керівництва та співробітників до системи та аналізує специфіку компанії, щоб потім без проблем адаптувати базу даних у робочі процеси. Проект складається з трьох рівнів: зовнішній — на цьому етапі відбувається обробка даних та перевірка доступу користувачів, концептуальний рівень містить зв'язки даних між собою та їх структуру, фізичний — безпосередньо саму інформацію, її місцезнаходження на носіях.
Забезпечує безпеку. Фахівець несе відповідальність за збереження цілісності інформації, він видає доступ співробітникам та відновлює дані за потреби.
Оптимізує процеси. Архітектор баз даних досліджує проблемні місця системи, усуває їх та підвищує ефективність компанії.
Керує командою. Фахівець працює з технічною групою, розподіляє завдання та координує процеси.
Ця професія потребує величезної кількості знань. Для роботи у цьому напрямі необхідно розуміти всю структуру даних, СУБД та мати навички розробки та адміністрування БД. Однак лише технічних умінь недостатньо. Спеціаліст-проектувальник баз даних повинен грамотно спілкуватися із замовником, щоб потім розробити зрозумілу та ефективну базу даних, що відповідає його вимогам. Крім цього, важливо вміти підбирати собі команду для проекту та ефективно координувати їхню роботу. Усі ці нюанси освоїти самостійно неможливо.
Джерела:
Цифрова економіка
Цифрова економіка – це система економічних відносин (виробництво, розподіл, обмін, споживання), що засновані на використані інформаційно-комунікаційних технологій.
Інформаційна економіка - основний ресурс інформація.
Інтернет економіка – сфера здійснення відносин, але продукт виходить за межи Інтернету.
Віртуальна економіка – результат діяльності залишається в Інтернеті.
Розумна економіка (smart economy) – основні дії робляться через Інтернет (розумний дім, місто, електронний уряд, пряма демократія тощо).
Інформаційно-мережева економіка - організаційно-господарські та будь які зв'язки здійснюються завдяки децентралізованим протоколам (платформам) та соціальній мережі.
На сучасному етапі розвитку економіки значення статистики стає дедалі важливішим. Статистика – одна з фундаментальних наук, яку опановують студенти усіх економічних спеціальностей. Статистичний інструментарій та методи статистики широко використовуються у практичній діяльності працівниками різноманітних підприємств, установ та організацій. Статистика здійснює збирання, обробку та аналіз даних про масові соціально-економічні явища, які характеризують всі сторони життя та діяльність населення, виявляє взаємозв’язки різних сторін в економіці, вивчає динаміку її розвитку та прийняття оптимальних управлінських рішень на всіх рівнях господарювання. Статистика розробляє способи кількісного аналізу, які у сукупності утворюють статистичну методологію і використовуються іншими суспільними науками як засіб соціального пізнання досліджуваних явищ і процесів. Як дисципліна статистика забезпечує формування у фахівців економічної підготовки комплексу професійних знань щодо організації досліджень, а також навичок збору, оброблення, систематизації та аналізу отриманих аналітичних даних.
Джерела:
Iдентифікація технологічних об'єктів керування для архітектури даних
Сучасне виробництво в усіх сферах характеризується високою складністю та різноманіттям технологічних процесів. Технологічний об'єкт (technological object) – технологічне обладнання, яке розглядають разом із технологічним процесом, що реалізується на цьому обладнанні згідно з відповідними технологічними інструкціями та регламентами. Ефективне виробництво неможливе без створення систем керування (управління) технологічними об’єктами, які забезпечують необхідну якість і кількість продукції, надійність та безпеку технологічного процесу. Система (system) – це сукупність взаємопов’язаних між собою складових частин, яка характеризується спільною метою функціонування. Керування, управління (control) – це процес цілеспрямованої зміни характеристик об’єкта керування. Елемент системи (system element) – це проста складова частина системи. Система автоматичного керування, управління (control system, надалі САУ, на відміну від САК – систем автоматичного контролю) – це сукупність взаємопов’язаних між собою складових частин, яка забезпечує процес цілеспрямованої зміни характеристик об’єкта керування без участі людини. Автоматизована система управління, керування (automatic control system, надалі АСУ, на відміну від АСК – автоматизованих систем контролю) – це сукупність взаємопов’язаних між собою складових частин, яка забезпечує процес управління технологічними процесами, об’єктами, виробництвами, підприємствами з участю людини. Основними елементами системи АСУ є об’єкт керування, керуюча частина і людина-оператор, яка задає мету та критерії керування, обмеження на параметри та характеристики системи, алгоритм (закон) керування, який реалізує керуюча частина та приймає стратегічні рішення. Узагальнена схема системи керування зображена на рис. В.1. У напрямку стрілок зліва направо передається вплив, а у зворотному напрямку – інформація про зміни стану. Стан системи (system state) – це сукупність значень її параметрів та характеристик у конкретний момент часу. Звичайно сукупність параметрів стану позначають вектором Y.
Ідентифікація технологічних об'єктів керування для архітектури даних є важливою частиною розробки і управління інформаційними системами. Цей процес включає в себе визначення та опис об'єктів, які впливають на збір, зберігання, обробку та передачу даних в організації.
Основні кроки ідентифікації технологічних об'єктів керування для архітектури даних можуть виглядати так:
Визначення бізнес-потреб:
Розуміння стратегічних цілей та бізнес-процесів організації.
Визначення ключових вимог до обробки та зберігання даних для підтримки бізнес-потреб.
Аналіз даних:
Виявлення джерел даних та їх характеристик.
Визначення типів даних, які необхідно обробляти та зберігати.
Вивчення потреб у забезпеченні якості даних.
Визначення архітектурних компонентів:
Визначення баз даних, систем управління даними, сервісів обробки даних та інших технологічних складових.
Розгляд інтеграції різних систем та платформ.
Ідентифікація інструментів керування даними:
Вибір підходящих Систем Управління Базами Даних (СУБД) та інших інструментів для зберігання та обробки даних.
Врахування вимог до масштабованості, безпеки та продуктивності.
Розгляд засобів аналітики та звітності:
Визначення інструментів для аналізу та візуалізації даних.
Розгляд можливостей створення звітів та іншої аналітичної звітності.
Планування інтеграції:
Визначення стратегії інтеграції між різними компонентами архітектури даних.
Розгляд стандартів інтеграції та міжоператорської сумісності.
Врахування вимог до безпеки:
Розгляд засобів та практик забезпечення безпеки даних на різних рівнях.
Ці кроки допомагають створити повний огляд технологічних об'єктів, які необхідно врахувати при розробці та управлінні архітектурою даних в організації.
Джерела:
Дослідження автокореляційних функцій для архітектури даних
Властивістю автокореляційної функцій є те, що для стаціонарних рядів існує таке значення К, що для коефіцієнти автокореляції приймають майже нульові значення. Отже, якщо зі збільшенням часового проміжку АКФ ряду за абсолютним значенням поступово згасає, ряд можна вважати стаціонарним. Якщо поведінка автокореляційної функції не така, то вона не може бути автокореляційною функцією стаціонарного процесу. На практиці порядок АКФ рекомендується обирати від п/4 до п/3. Значення коефіцієнта автокореляції, близьке до одиниці, вказує на значну додатну залежність між фактичним рядом даних і рядом, зрушеним на одиниць часу. У цьому разі пари спостережень будуть близькими один до одного. Якщо з’ясується, що більше спостереження утворює пару з меншим, то коефіцієнт автокореляції буде від’ємним і близьким до – 1. Для перевірки статистичної значущості коефіцієнтів автокореляції не існує простих критеріїв.
Визначити, які невипадкові чинники, окрім випадкових, беруть участь у формуванні значень часового ряду, можна за допомогою автокореляційного аналізу. Сутність методу полягає в застосуванні апарату перших різниць і аналізу автокореляцій для ідентифікації часових рядів таких видів:
ряд не має тренду, якщо коефіцієнти автокореляції між рівнями ряду не залежать від часового лагу (статистично незначущі) і не мають певної закономірності зміни;
ряд має лінійний адитивний тренд у разі, коли автокореляційний аналіз вказує на лінійну залежність зміни коефіцієнтів автокореляції від часового лагу, а перехід до перших різниць виключає цю залежність;
ряд містить сезонну складову, якщо не існує лінійної залежності зміни коефіцієнтів автокореляції від часового лагу, але корелограма містить велику кількість значущих максимальних і мінімальних значень коефіцієнтів автокореляцій, що свідчить про значну залежність між спостереженнями, зрушеними на однаковий часовий інтервал;
ряд має лінійний тренд і сезонну складову, якщо його корелограма вказує на лінійну залежність зміни коефіцієнтів автокореляції від часового лагу і містить велику кількість значущих максимальних і мінімальних значень коефіцієнтів автокореляцій, а перехід до перших різниць виключає лінійний тренд, але статистична значущість певних коефіцієнтів автокореляцій залишається.
Джерела: