Отраслевые базы данных: ОТРАСЛЕВЫЕ БАЗЫ ДАННЫХ И СПРАВОЧНИКИ ПРЕДПРИЯТИЙ

alexxlab | 06.02.1988 | 0 | Разное

Содержание

15 баз данных, где можно найти практически все

Чтобы принимать правильные решения, нужно руководствоваться данными. Поэтому качественные источники информации — это половина успеха и в учебе, и в бизнесе. Приготовили подборку из 15 баз данных, где можно найти статистические показатели на разные темы — от ВВП до количества игроков World of Warcraft. В списке есть международные базы и ресурсы с данными по России и Москве. Узнайте, откуда брать свежую информацию, которой можно доверять. А чтобы прокачать критическое мышление, научиться оценивать релевантность данных и использовать их для решения бизнес-задач, приходите на курс Changellenge >> Польза.

Международные базы данных


Показатели развитости стран и индустрий

World Bank Open Data

Что здесь есть: статистические сведения по 570 показателям мирового развития. Временные ряды представлены с 1960 года для 208 стран. Охвачены экономические, социальные, финансовые показатели, данные по природным ресурсам и окружающей среде. Кроме того, база содержит сведения о государственном долге и его выплатах, иностранных инвестициях и финансовых потоках за период с 1970 по 2012 год для 135 стран.

Языки: английский, французский, испанский, арабский, китайский.

Форматы файлов: HTML, PDF.

Кому пригодится: стратегам, консультантам, GR-специалистам.

Лайфхаки: можно подписаться на рассылку новых исследований.

OECD.Stat

Что здесь есть: данные об экономических, финансовых, социальных, научно-технических и отраслевых показателях стран-участников Организации экономического сотрудничества и развития и отдельных стран, не являющихся членами организации. Например, в базе можно найти объем налоговых поступлений и трудовой миграции по индустриям, а также количество патентов разных видов.

Языки: английский, французский.

Форматы файлов:

XLS, CSV, HTML.

Кому пригодится: стратегам, консультантам, GR-специалистам.

Лайфхаки: зарегистрированному пользователю доступно больше функций. Например, история поиска, создание собственных подборок данных и возможность ими поделиться.

Eurostat

Что здесь есть: информация о странах — членах ЕС. В базе собрана общая и региональная статистика, экономические и финансовые показатели, демографические и социальные условия, данные о промышленности и торговле и многое другое.

Языки: английский, французский, немецкий.

Форматы файлов: PNG, PDF, ZIP, TSV. Файл в формате TSV можно открыть в Excel и сохранить в другом формате.

Кому пригодится: стратегам, консультантам, GR-специалистам.

Лайфхаки: есть опция отправки данных по почте. Зарегистрированные пользователи могут сохранить историю поиска.

Euromonitor International

Что здесь есть: рыночные исследования по странам, индустриям, компаниям и потребителям. Вы получите исчерпывающие данные для анализа бизнес-среды, отраслевых показателей, долей рынка по брендам и компаниям, отраслевого состава крупнейших экономик мира и взаимоотношений между компаниями (B2B).

Языки: английский, французский и немецкий.

Форматы файлов: PDF, XLS, PowerPoint.

Кому пригодится: маркетологам, рекламщикам, PR-специалистам, продакт-менеджерам, инвест-банкирам, стратегам и консультантам.

Лайфхаки: можно купить доступ к онлайн-версии продуктов. Есть специальные тарифы для академических подписок на базы данных. Поэтому на этот ресурс подписаны многие крупные университеты (возможно, и ваш).

Statista

Что здесь есть: необычная статистика и отчеты по 150 странам и 600 отраслям. Например, если вам интересно, сколько людей в мире играют в World of Warcraft или у какой доли населения Индии есть смартфоны, то вам сюда.

Языки: английский, французский, немецкий и испанский.

Форматы файлов: PDF, XLS, PPT, PNG.

Кому пригодится: маркетологам, рекламщикам, GR- и PR-специалистам, бренд-менеджерам, продакт-менеджерам, HR-специалистам, инвест-банкирам, стратегам и консультантам.

Лайфхаки: в бесплатном аккаунте есть доступ только к базовой статистике (без данных по отраслям), скачивать информацию можно в PDF и PNG. За 49 долларов дают полный доступ к базе и возможность скачивать файлы в формате XLS. Есть корпоративная подписка для университетов и компаний. Можно заказать собственное исследование.

Экономические и финансовые показатели

International Monetary Fund Data

Что здесь есть: данные в виде временных рядов по экономическим и финансовым показателям, обменные курсы в масштабе отдельных стран и мира в целом.

Язык: английский.

Форматы файлов: XLS, PDF, PPT, PNG.

Кому пригодится: инвест-банкирам, стратегам, консультантам, GR-специалистам.

Лайфхаки: данные доступны только после регистрации. Можно подписаться на рассылку обновлений. Есть приложение для iOS.

OPEC Data / Graphs

Что здесь есть: данные стран ОПЕК по нефтяной отрасли (цена, налоги, запасы нефти, информация о производстве и продаже).

Языки: английский, французский.

Форматы файлов: XLS, XML.

Кому пригодится: инвест-банкирам, стратегам, консультантам, GR-специалистам.

Лайфхаки: есть приложение для iOS и Android.

WTO Statistics

Что здесь есть: данные о торговых потоках, тарифах, нетарифных мерах и доле торговли в добавленной стоимости по странам мира.

Языки: английский, французский, испанский.

Форматы файлов: XLS, CSV, HTML.

Кому пригодится: стратегам, консультантам, GR-специалистам, продакт-менеджерам, маркетологам.

Лайфхаки: у базы есть два варианта поиска данных: Tariff Analysis Online и The Tariff Download Facility. Tariff Analysis Online содержит данные о тарифах на уровне «тарифной линии» — восемь или более цифр кодов Гармонизированной системы описания и кодирования товаров. Чтобы получить доступ, нужно зарегистрироваться. The Tariff Download Facility содержит упрощенные данные — о связанных, применяемых и преференциальных тарифах и статистике импорта. Данные доступны в виде шестизначных кодов Гармонизированной системы описания и кодирования товаров. Информация находится в открытом доступе.

Базы данных по РФ

Финансовые показатели

Центральный банк РФ / Статистика

Что здесь есть: официальная статистика Центробанка РФ. В базе собраны макроэкономические показатели, показатели банковского сектора, финансового рынка, национальной платежной системы и операций денежно-кредитной политики.

Язык: русский.

Форматы файлов: DOC, XLS, PDF, ARJ. Формат архива ARJ можно открыть архиваторами для ZIP.

Кому пригодится: инвест-банкирам, стратегам, консультантам, GR-специалистам.

Лайфхаки: данные до 2008–2012 годов лежат в Архиве.

Показатели развитости индустрий в стране

Национальное агентство финансовых исследований

Что здесь есть: исследования, аналитика и прогнозы по разным темам (финансы, социальное развитие, предпринимательство, IT и телеком, строительство, рынок труда и HR, бренд и реклама, PR и GR-проекты).

Язык: русский.

Форматы файлов: DOC, XLS, PDF.

Кому пригодится:

маркетологам, рекламщикам, GR- и PR-специалистам, бренд-менеджерам, продакт-менеджерам, проджект-менеджерам, HR-специалистам, инвест-банкирам, стратегам и консультантам.

Лайфхаки: часть данных находится в открытом доступе. Можно бесплатно подписаться на рассылку и получать новые исследования. Есть возможность заказать свое исследование.

JSON.TV

Что здесь есть: исследования преимущественно по техническим тематикам. В базе можно найти данные об интернете вещей, цифровизации, блокчейне, искусственном интеллекте, телекоме, а также рекламе, онлайн-играх, образовании и многом другом.

Языки: русский, английский.

Форматы файлов: DOC, XLS, PDF.

Кому пригодится: Продакт-менеджерам, проджект-менеджерам, стратегам и консультантам.

Лайфхаки: после регистрации доступна краткая версия исследований. За полную нужно заплатить.

Социологические исследования

Всероссийский центр изучения общественного мнения

Что здесь есть: социологические исследования, рейтинги политиков, индексы одобрения государственных и общественных институтов и другие опросы общественного мнения.

Язык: русский.

Форматы файлов: DOC, XLS, PDF.

Кому пригодится: маркетологам, рекламщикам, GR- и PR-специалистам, бренд-менеджерам, HR-специалистам.

Лайфхаки: можно заказать свое исследование.

Аналитический центр Юрия Левады

Что здесь есть: результаты опросов общественного мнениях на разные темы начиная с 1988 года.

Языки: русский, английский.

Форматы файлов: DOC, XLS, PDF.

Кому пригодится: GR- и PR-специалистам.

Лайфхаки: можно оформить бесплатную подписку и получать новые исследования.

Фонд «Общественное мнение»

Что здесь есть: социологические и маркетинговые данные, собранные в результате опросов разных групп населения. Исследования и аналитика по темам: образ жизни, ценности, работа и дом, экономика, СМИ и интернет.

Язык: русский.

Форматы файлов: DOC, XLS, PDF.

Кому пригодится: маркетологам, рекламщикам, GR- и PR-специалистам, бренд-менеджерам, продакт-менеджерам, проджект-менеджерам, HR-специалистам.

Лайфхаки: можно заказать исследование.

База данных по Москве

Портал открытых данных правительства Москвы

Что здесь есть: информация по таким категориям, как транспорт, ЖКХ, здравоохранение, культура, общественное питание, строительство, трудоустройство и так далее.

Языки: русский, английский.

Форматы файлов: XLS, HTML, JSON. Формат JSON можно открыть в «Блокноте» или конвертировать в CSV для работы в Excel.

Кому пригодится: маркетологам, рекламщикам, GR- и PR-специалистам, продакт-менеджерам, проджект-менеджерам, HR-специалистам, стратегам и консультантам.

Лайфхаки: на главной странице есть информация об обновлениях.

Теги

Подборка Изнутри

Что такое база данных | Oracle СНГ

База данных — определение

База данных — это упорядоченный набор структурированной информации или данных, которые обычно хранятся в электронном виде в компьютерной системе. База данных обычно управляется системой управления базами данных (СУБД). Данные вместе с СУБД, а также приложения, которые с ними связаны, называются системой баз данных, или, для краткости, просто базой данных.

Данные в наиболее распространенных типах современных баз данных обычно хранятся в виде строк и столбцов формирующих таблицу. Этими данными можно легко управлять, изменять, обновлять, контролировать и упорядочивать. В большинстве баз данных для записи и запросов данных используется язык структурированных запросов (SQL).

Подробнее о СУБД Oracle Database

Что такое язык структурированных запросов (SQL)?

SQL — это язык программирования, используемый в большинстве реляционных баз данных для запросов, обработки и определения данных, а также контроля доступа. SQL был разработан в IBM в 1970-х годах. Со временем у стандарта SQL ANSI появились многочисленные расширения разработанные такими компаниями как IBM, Oracle и Microsoft. Хотя в настоящее время SQL все еще широко используется, начали появляться новые языки программирования запросов.

Эволюция базы данных

Базы данных значительно изменились с момента их появления в начале 1960-х годов. Исходными системами, которые использовались для хранения и обработки данных, были навигационные базы данных – например, иерархические базы данных (которые опирались на древовидную модель и допускали только отношение «один-ко-многим») и базы данных с сетевой структурой (более гибкая модель, допускающая множественные отношения). Несмотря на простоту, эти ранние системы были негибкими. В 1980-х годах стали популярными реляционные базы данных, в 1990-х годах за ними последовали объектно-ориентированные базы данных. Совсем недавно вследствие роста Интернета и возникновения необходимости анализа неструктурированных данных появились базы данных NoSQL. В настоящее время облачные базы данных и автономные базы данных открывают новые возможности в отношении способов сбора, хранения, использования данных и управления ими.

В чем заключается различие между базой данных и электронной таблицей?

Базы данных и электронные таблицы (в частности, Microsoft Excel) предоставляют удобные способы хранения информации. Основные различия между ними заключаются в следующем.

  • Способ хранения и обработки данных
  • Полномочия доступа к данным
  • Объем хранения данных

Электронные таблицы изначально разрабатывались для одного пользователя, и их свойства отражают это. Они отлично подходят для одного пользователя или небольшого числа пользователей, которым не нужно производить сложные операции с данными. С другой стороны, базы данных предназначены для хранения гораздо больших наборов упорядоченной информации иногда огромных объемов. Базы данных дают возможность множеству пользователей в одно и то же время быстро и безопасно получать доступ к данным и запрашивать их, используя развитую логику и язык запросов.

Типы баз данных

Существует множество различных типов баз данных. Выбор наилучшей базы данных для конкретной компании зависит от того, как она намеревается использовать данные.

    Реляционные базы данных
  • Реляционные базы данных стали преобладать в 1980-х годах. Данные в реляционной базе организованы в виде таблиц, состоящих из столбцов и строк. Реляционная СУБД обеспечивает быстрый и эффективный доступ к структурированной информации.
    • Объектно-ориентированные базы данных
  • Информация в объектно-ориентированной базе данных представлена в форме объекта, как в объектно-ориентированном программировании.
    • Распределенные базы данных
  • Распределенная база данных состоит из двух или более частей, расположенных на разных серверах. Такая база данных может храниться на нескольких компьютерах.
    • Хранилища данных
  • Будучи централизованным репозиторием для данных, хранилище данных представляет собой тип базы данных, специально предназначенной для быстрого выполнения запросов и анализа.
    • Oracle NoSQL Database
  • База данных NoSQL, или нереляционная база данных, дает возможность хранить и обрабатывать неструктурированные или слабоструктурированные данные (в отличие от реляционной базы данных, задающей структуру содержащихся в ней данных). Популярность баз данных NoSQL растет по мере распространения и усложнения веб-приложений.
    • Графовые базы данных
  • Графовая база данных хранит данные в контексте сущностей и связей между сущностями.
  • Базы данных OLTP. База данных OLTP — это база данных предназначенная для выполнения бизнес-транзакций, выполняемых множеством пользователей.

Это лишь некоторые из десятков типов баз данных, используемых в настоящее время. Другие, менее распространенные базы данных, предназначены для очень специфических научных, финансовых и иных задач. Помимо появления новых типов, базы данных развиваются в абсолютно новых направлениях — изменяются подходы к разработке технологий, происходят значительные сдвиги, такие как внедрение облачных технологий и автоматизации. В частности, в последнее время появились следующие базы данных.

    Базы данных с открытым исходным кодом
  • Такие базы данных имеют открытый исходный код и могут управляться средствами как SQL, так и NoSQL.
    • Облачные базы данных
  • Облачная база данных представляет собой набор структурированных или неструктурированных данных, размещенный на частной, публичной или гибридной платформе облачных вычислений. Существует два типа моделей облачных баз данных: традиционная база данных и база данных как услуга (DBaaS). В модели DBaaS административные задачи и обслуживание выполняются поставщиком облачных услуг.
    • Многомодельные базы данных
  • Многомодельная база данных объединяет разные типы моделей баз данных в единую интегрированную серверную СУБД. Это означает, что она может содержать различные типы данных.
    • Документные базы данных/JSON
  • Базы данных документов предназначены для хранения, извлечения и обработки документоориентированной информации и предоставляют современный способ хранения данных в формате JSON, а не в виде строк и столбцов.
    • Автономные базы данных
  • Самоуправляемые базы данных (также называемые автономными) — это новейшие и самые революционные облачные базы данных, которые используют машинное обучение для автоматизации настройки, защиты, резервного копирования, обновления и других стандартных задач обслуживания, обычно выполняемых администраторами баз данных.

Подробнее об автономных базах данных

Что такое программное обеспечение базы данных?

Программное обеспечение базы данных используется для создания, редактирования и обслуживания файлов и записей базы данных, что упрощает создание файлов и записей, ввод данных, редактирование, обновление и отчетность. Программное обеспечение также помогает хранить данных, осуществлять резервное копирование и формировать отчетность, предоставлять управление множественным доступом и поддерживать безопасность. Сегодня надежная безопасность базы данных особенно важна, поскольку случаи кражи данных значительно участились. Программное обеспечение для баз данных иногда называют системой управления базами данных (СУБД).

Программное обеспечение баз данных упрощает управление данными, помогая пользователям хранить данные в структурированной форме, а затем получать к ним доступ. Обычно программа имеет графический интерфейс, помогающий создавать данные и управлять ими, и в некоторых случаях пользователи могут создавать собственные базы данных с помощью такого ПО.

Что такое система управления базами данных (DBMS)?

Для базы данных обычно требуется комплексное программное обеспечение, которое называется системой управления базами данных (СУБД). СУБД служит интерфейсом между базой данных и пользователями или программами, предоставляя пользователям возможность получать и обновлять информацию, а также управлять ее упорядочением и оптимизацией. СУБД обеспечивает контроль и управление данными, позволяя выполнять различные административные операции, такие как мониторинг производительности, настройка, а также резервное копирование и восстановление.

В качестве примеров популярного программного обеспечения для управления базами данных, или СУБД, можно назвать MySQL, Microsoft Access, Microsoft SQL Server, FileMaker Pro, СУБД Oracle Database и dBASE.

Что такое база данных MySQL?

MySQL — это реляционная система управления базами данных с открытым исходным кодом на основе языка SQL. Она была разработана и оптимизирована для веб-приложений и может работать на многих платформах. Она обладает всеми возможностями которые требуются веб-разработчикам. База данных MySQL предназначена для обработки миллионов запросов и тысяч транзакций, поэтому ее часто выбирают компании электронной коммерции, которым требуется управлять большим количеством денежных переводов. Гибкость по мере необходимости — основная характеристика MySQL.

Многие ведущие веб-сайты и веб-приложения используют СУБД MySQL, в том числе Airbnb, Uber, LinkedIn, Facebook, Twitter и YouTube.

Подробнее о MySQL

Использование баз данных для повышения производительности бизнеса и улучшения процесса принятия решений

Обширный сбор данных из Интернета вещей меняет действительность и производственный сектор по всему миру: современные компании имеют доступ к большему количеству данных, чем когда-либо прежде. Прогрессивные компании теперь могут использовать базы данных, чтобы от обычного хранения данных и базовых транзакций перейти к анализу огромных объемов данных из множества систем. Благодаря базам данных и другим средствам вычислений и бизнес-аналитики современные компании могут использовать собираемые ими данные для более эффективной работы, эффективного принятия решений, гибкости и масштабируемости. Сегодня важнейшим для коммерческих компаний является оптимизация доступа и пропускной способности для данных, что связано с постоянным ростом объема данных. Очень важно иметь платформу, способную обеспечить производительность, масштаб и гибкость, необходимые компаниям по мере их роста.

Автономная база данных способна значительно расширить эти возможности. Автономные базы данных автоматизируют дорогостоящие и длительные ручные процедуры, благодаря чему бизнес-пользователи могут сосредоточиться на работе со своими данными. За счет возможностей создания и использования баз данных пользователи приобретают контроль и автономию, поддерживая при этом важные стандарты безопасности.

Задачи для баз данных

Современные крупные корпоративные базы данных нередко поддерживают очень сложные запросы, и предполагается, что они должны предоставлять почти мгновенные ответы на них. В результате администраторы баз данных вынуждены применять самые разные методы для повышения производительности. Вот некоторые из наиболее распространенных вызовов, с которыми они сталкиваются.

  • Значительно возросшие объемы данных. Стремительный рост данных от датчиков, подключенных приборов и десятков других источников заставляет администраторов искать способы эффективного управления и упорядочивания данных своих компаний.
  • Обеспечение безопасности данных. В наши дни регулярно случаются утечки данных и хакеры становятся все более изобретательными. Сейчас как никогда важно обеспечить защиту данных, но в то же время их легкую доступность для пользователей.
  • Удовлетворение растущих потребностей. В современной, динамичной бизнес-среде компаниям необходим доступ к данным в режиме реального времени – для своевременного принятия решений и использования новых возможностей.
  • Управление и обслуживание базы данных и инфраструктуры. Администраторы базы данных должны осуществлять постоянный мониторинг базы данных на наличие проблем, выполнять профилактическое обслуживание, а также устанавливать обновления и исправления программного обеспечения. Но базы данных становятся все более сложными, объемы данных растут, и компании сталкиваются с необходимостью привлечения дополнительных специалистов для мониторинга и настройки баз данных.
  • Устранение границ масштабируемости. Если бизнес хочет выжить, он должен развиваться, и возможности управления данными должны расти вместе с ним. Но администраторам баз данных очень сложно предугадать, какие мощности потребуются компании, особенно при использовании локальных баз данных.
  • Соблюдение требований к размещению данных, суверенитету данных и времени ожидания. Для одних компаний предпочтительнее, чтобы базы данных работали в локальной среде. В таких случаях идеальным вариантом являются готовые системы, настроенные и оптимизированные для размещения баз данных. При использовании Oracle Exadata заказчики достигают высокой доступности, повышают производительность и снижают затраты до 40 %.

Решение всех этих задач может занимать много времени и отвлекать администраторов баз данных от решения стратегических задач.

Как автономные технологии улучшают управление базами данных

Автономные базы данных — это модель будущего, представляющая исключительный интерес для компаний, которые хотят использовать лучшую из имеющихся технологий баз данных, при этом не сталкиваясь с проблемами при запуске и эксплуатации этой технологии.

Автономные базы данных используют облачные технологии и машинное обучение для автоматизации множества стандартных задач управления базами данных, таких как настройка, защита, резервное копирование, обновление и другие повседневные задачи администрирования. Благодаря автоматизации этой рутины администраторы баз данных могут сосредоточиться на более стратегической работе. Возможности самоуправления, самозащиты и самовосстановления автономных баз данных могут радикально изменить способы управления и защиты данных, улучшая эффективность, снижая затраты и повышая безопасность.

Будущее баз данных и автономных баз данных

О выходе первой автономной базы данных было объявлено в конце 2017 года, и многие независимые отраслевые аналитики быстро оценили возможности этой технологии и ее потенциальное воздействие на обработку данных.

Дополнительные продукты

  • Oracle Autonomous Database
  • СУБД Oracle Database
  • Oracle Exadata
  • Oracle Autonomous Data Warehouse

Отраслевые модели данных | Журнал ВРМ World | Пресс-центр

В статье кратко рассматриваются основные понятия, связанные с использованием


логических моделей данных. Обсуждаются преимущества готовых отраслевых моделей,
создаваемых квалифицированными поставщиками программного обеспечения.
Приводятся рекомендации специалистов о том, какие факторы необходимо принимать
во внимание при выборе в пользу приобретения готовой отраслевой модели данных.

Основное назначение моделей – это облегчение ориентации в пространстве данных и помощь в выделении деталей, важных для развития бизнеса. В современных условиях для успешного ведения бизнеса совершенно необходимо иметь четкое понимание связей между различными компонентами и хорошо представлять себе общую картину организации. Идентификация всех деталей и связей с помощью моделей позволяет наиболее эффективно использовать время и инструменты организации работы компании.

Под моделями данных понимаются абстрактные модели, описывающие способ представления данных и доступ к ним. Модели данных определяют элементы данных и связи между ними в той или иной области. Модель данных – это навигационный инструмент как для бизнес-, так и для IT-профессионалов, в котором используется определенный набор символов и слов для точного объяснения определенного класса реальной информации. Это позволяет улучшить взаимопонимание внутри организации и, таким образом, создать более гибкую и стабильную среду для работы приложений.

Модель данных однозначно определяет значение данных, которые в данном случае представляют собой структурированные данные (в противоположность неструктурированным данным, таким как, например, изображение, бинарный файл или текст, где значение может быть неоднозначным).

Как правило, выделяются модели более высокого уровня (и более общие по содержанию) и более низкого (соответственно, более детальные). Верхний уровень моделирования – это так называемые концептуальные модели данных (conceptual data models), которые дают самую общую картину функционирования предприятия или организации. Концептуальная модель включает основные концепции или предметные области, критичные для функционирования организации; обычно их количество не превышает 12-15. Такая модель описывает классы сущностей, важных для организации (бизнес-объекты), их характеристики (атрибуты) и ассоциации между парами этих классов (т.е. связи). Поскольку в бизнес-моделировании терминология еще окончательно не устоялась, в различных англоязычных источниках концептуальные модели данных могут также носить название subject area model (что можно перевести как модели предметных областей) или subject enterprise data model (предметные корпоративные модели данных).

Следующий иерархический уровень – это логические модели данных (logical data models). Они также могут называться корпоративными моделями данных или бизнес-моделями. Эти модели содержат структуры данных, их атрибуты и бизнес-правила и представляют информацию, используемую предприятием, с точки зрения бизнес-перспективы. В такой модели данные организованы в виде сущностей и связей между ними. Логическая модель представляет данные таким образом, что они легко воспринимаются бизнес-пользователями. В логической модели может быть выделен словарь данных – перечень всех сущностей с их точными определениями, что позволяет различным категориям пользователей иметь общее понимание всех входных и информационных выходных потоков модели. Следующий, более низкий уровень моделирования – это уже физическая реализация логической модели с помощью конкретных программных средств и технических платформ.

Логическая модель содержит детальное корпоративное бизнес-решение, которое обычно принимает форму нормализованной модели. Нормализация – это процесс, который гарантирует, что каждый элемент данных в модели имеет только одно значение и полностью и однозначно зависит от первичного ключа. Элементы данных организуются в группы согласно их уникальной идентификации. Бизнес-правила, управляющие элементами данных, должны быть полностью включены в нормализованную модель с предварительной проверкой их достоверности и корректности. Например, такой элемент данных, как Имя клиента, скорее всего, будет разделен на Имя и Фамилию и сгруппирован с другими соответствующими элементами данных в сущность Клиент с первичным ключом Идентификатор клиента.

Логическая модель данных не зависит от прикладных технологий, таких как база данных, сетевые технологии или инструменты отчетности, и от средств их физической реализации. В организации может быть только одна корпоративная модель данных. Логические модели обычно включают тысячи сущностей, связей и атрибутов. Например, модель данных для финансовой организации или телекоммуникационной компании может содержать порядка 3000 отраслевых понятий.

Важно различать логическую и семантическую модель данных. Логическая модель данных представляет корпоративное бизнес-решение, а семантическая – прикладное бизнес-решение. Одна и та же корпоративная логическая модель данных может быть реализована с помощью различных семантических моделей, т.е. семантические модели могут рассматриваться как следующий уровень моделирования, приближающийся к физическим моделям. При этом каждая из таких моделей будет представлять отдельный «срез» корпоративной модели данных в соответствии с требованиями различных приложений. Например, в корпоративной логической модели данных сущность Клиент будет полностью нормализована, а в семантической модели для витрины данных может быть представлена в виде многомерной структуры.

У компании может быть два пути создания корпоративной логической модели данных: строить ее самостоятельно или воспользоваться готовой отраслевой моделью (industry logical data model). В данном случае различия в терминах отражают лишь разные подходы к построению одной и той же логической модели. В том случае, если компания самостоятельно разрабатывает и внедряет собственную логическую модель данных, то такая модель, как правило, носит название просто корпоративной логической модели. Если же организация решает воспользоваться готовым продуктом профессионального поставщика, то тогда можно говорить об отраслевой логической модели данных. Последняя представляет собой готовую логическую модель данных, с высокой степенью точности отражающую функционирование определенной отрасли. Отраслевая логическая модель – это предметно-ориентированный и интегрированный вид всей информации, которая должна находиться в корпоративном Хранилище данных для получения ответов как на стратегические, так и на тактические бизнес-вопросы. Как и любая другая логическая модель данных, отраслевая модель не зависит от прикладных решений. Она также не включает производные данные или другие вычисления для более быстрого извлечения данных. Как правило, большинство логических структур такой модели находят хорошее воплощение в ее эффективной физической реализации. Такие модели разрабатываются многими поставщиками для самых различных областей деятельности: финансовой сферы, производства, туризма, здравоохранения, страхования и т. д.

Отраслевая логическая модель данных содержит информацию, общую для отрасли, и поэтому не может быть исчерпывающим решением для компании. Большинству компаний приходится увеличивать модель в среднем на 25% за счет добавления элементов данных и расширения определений. Готовые модели содержат только ключевые элементы данных, а остальные элементы должны быть добавлены к соответствующим бизнес-объектам в процессе установки модели в компании.

Отраслевые логические модели данных содержат значительное количество абстракций. Под абстракциями имеется в виду объединение аналогичных понятий под общими названиями, такими как Событие или Участник. Это добавляет отраслевым моделям гибкости и делает их более унифицированными. Так, понятие События применимо ко всем отраслям.

Специалист в области бизнес-аналитики (Business Intelligence) Стив Хобермэн (Steve Hoberman) выделяет пять факторов, которые необходимо принимать во внимание при решении вопроса о приобретении отраслевой модель данных. Первый – это время и средства, необходимые для построения модели. Если организации необходимо быстро добиться результатов, то отраслевая модель даст преимущество. Использование отраслевой модели не может немедленно обеспечить картину всей организации, но способно сэкономить значительное количество времени. Вместо собственно моделирования время будет потрачено на связывание существующих структур с отраслевой моделью, а также на обсуждение того, как лучше ее настроить под нужды организации (например, какие определения должны быть изменены, а какие элементы данных – добавлены).

Второй фактор – это время и средства, необходимые для поддержания модели в работоспособном состоянии. Если корпоративная модель данных не является частью методологии, которая позволяет следить за соблюдением ее точности и соответствия современным стандартам, то такая модель очень быстро устаревает. Отраслевая модель данных может предотвратить риск такого развития событий, поскольку она поддерживается в обновленном состоянии за счет внешних ресурсов. Безусловно, изменения, происходящие внутри организации, должны отражаться в модели силами самой компании, но отраслевые перемены будут воспроизводиться в модели ее поставщиком.

Третий фактор – опыт в оценке рисков и моделировании. Создание корпоративной модели данных требует квалифицированных ресурсов как со стороны бизнеса, так и IT-персонала. Как правило, менеджеры хорошо знают либо работу организации в целом, либо деятельность конкретного отдела. Лишь немногие их них обладают как широкими (в масштабах всей компании), так и глубокими (в рамках подразделений) знаниями о своем бизнесе. Большинство менеджеров обычно хорошо знают только одну область. Поэтому, для того чтобы получить общекорпоративную картину, требуются существенные бизнес-ресурсы. Это увеличивает и требования к IT-персоналу. Чем больше бизнес-ресурсов требуется для создания и тестирования модели, тем более опытными должны быть аналитики. Они должны не только знать, как получить информацию от бизнес-персонала, но также уметь находить общую точку зрения в спорных областях и быть способными представлять всю эту информацию в интегрированном виде. Тот, кто занимается созданием модели (во многих случаях это тот же аналитик), должен обладать хорошими навыками моделирования. Создание корпоративных логических моделей требует моделирования «для будущего» и способности конвертировать сложный бизнес в буквальном смысле «в квадраты и линии».

С другой стороны, отраслевая модель позволяет использовать опыт сторонних специалистов. При создании отраслевых логических моделей используются проверенные методологии моделирования и коллективы опытных профессионалов, для того чтобы избежать распространенных и дорогостоящих проблем, которые могут возникнуть при разработке корпоративных моделей данных внутри самой организации.

Четвертый фактор – существующая инфраструктура приложений и связи с поставщиками. Если организация уже использует много инструментов одного и того же поставщика и имеет налаженные связи с ним, то имеет смысл и отраслевую модель заказывать у него же. Такая модель сможет свободно работать с другими продуктами этого же поставщика.

Пятый фактор – внутриотраслевой обмен информацией. Если компании нужно осуществлять обмен данными с другими организациями, работающими в той же области, то отраслевая модель может быть очень полезна в этой ситуации. Организации внутри одной и той же отрасли пользуются схожими структурными компонентами и терминологией. В настоящее время в большинстве отраслей компании вынуждены обмениваться данными для успешного ведения бизнеса.

Наиболее эффективны отраслевые модели, предлагаемые профессиональными поставщиками. Высокая эффективность их использования достигается благодаря значительному уровню детальности и точности этих моделей. Они обычно содержат много атрибутов данных. Кроме того, создатели этих моделей не только обладают большим опытом моделирования, но и хорошо разбираются в построении моделей для определенной отрасли.

Отраслевые модели данных обеспечивают компаниям единое интегрированное представление их бизнес-информации. Многим компаниям бывает непросто осуществить интеграцию своих данных, хотя это является необходимым условием для большинства общекорпоративных проектов. По данным исследования Института Хранилищ данных (The Data Warehousing Institute, TDWI), более 69% опрошенных организаций обнаружили, что интеграция является существенным барьером при внедрении новых приложений. Напротив, осуществление интеграции данных приносит компании ощутимый доход.

Отраслевая модель данных, помимо связей с уже существующими системами, дает большие преимущества при осуществлении общекорпоративных проектов, таких как планирование ресурсов предприятия (Enterprise Resource Planning, ERP), управление основными данными, бизнес-аналитика, повышение качества данных и повышение квалификации сотрудников.

Таким образом, отраслевые логические модели данных являются эффективным инструментом интеграции данных и получения целостной картины бизнеса. Использование логических моделей представляется необходимым шагом на пути создания корпоративных Хранилищ данных.

Публикации
  1. Стив Хобермэн (Steve Hoberman). Использование отраслевой логической модели данных в качестве корпоративной модели (Leveraging the Industry Logical Data Model as Your Enterprise Data Model).
  2. Клодиа Имхоф (Claudia Imhoff). Оперативное создание Хранилищ данных и выполнение проектов Business Intelligence с помощью моделирования данных (Fast-Tracking Data Warehousing & Business Intelligence Projects via Intelligent Data Modeling)

Автор: По материалам зарубежных сайтов

Базы данных предприятий, Россия и СНГ

Агентство деловой информации

Бизнес-Карта