UPMC — медицина меняющая жизнь (с помощью GoldenGate)

На Западе одним из крупнейших потребителей Oracle являются медицинские учреждения. Это связано с тем, что за рубежом медицина является очень доходным бизнесом, а следовательно на этом рынке очень развита конкуренция. Конкуренция — естественный фактор, активно влияющий на внедрение качественных информационных систем в любой отрасли.

При этом Oracle имеет целый спектр специализированного программного обеспечения для медицины. Да и сама СУБД Oracle имеет встроенный тип данных DICOM для хранения радиологических снимков.

Россия в этом плане уникальна — у нас довольно мало (если они есть) унаследованных систем из-за низкой степень проникновения ИТ в медицине плюс и у нас довольно большая часть “рынка” медицины занята государством. Если сейчас принять грамотные решения на уровне министерств, то есть шанс создать централизованный банк медицинских данных, используемый всеми коммерческими и государственными клиниками. Это был бы прорыв в российской медицине, а за этим стоят жизни людей. Ну или на крайний случай такие банки могут быть созданы самостоятельно крупными коммерческими игроками на рынке.

На фоне этого очень интересным является опыт использования GoldenGate в одной из крупнейших медицинских компаний UPMC.

Далее я привожу перевод статьи с finance.yahoo.com.

Continue reading ‘UPMC — медицина меняющая жизнь (с помощью GoldenGate)’ »

Отладка и troubleshooting GoldenGate: showsyntax

Update 1: Как правильно заметил Ян — параметр NOBINARYCHARS является недокументированным и может повлиять на поведение GoldenGate с символьными полями (с VARCHAR2 и CHAR я таких проблем не встречал). Я бы рекомендовал запомнить позицию (EXTSEQ, EXTRBA) Replicat командой INFO REPLICAT replicat_name и после выполнения отладки заново спозиционировать Replicat командой ALTER REPLICAR replcat_name, EXTSEQNO X, EXTRBA Y на ранее сохраненную позицию.

При настройке репликации периодически приходится сталкиваться с ситуацией, когда процесс Replicat в GoldenGate валится по SQL-ошибке. Причин может быть много: изначально рассинхронизированные базы, отсутствие значений каких-то полей в trail-файле, лишние ограничения целостности и т.д.

Continue reading ‘Отладка и troubleshooting GoldenGate: showsyntax’ »

Oracle BI Пиво 2011 состоится 7 июля 2011: открыта регистрация

imageАндрей Пивоваров опубликовал в своем блоге информацию о предстоящем мероприятии Oracle BI Beer Community Event.

Мероприятие задумано так, чтобы свести участие самой компании Oracle к минимуму, поэтому там не будет стандартных презентаций — мы стремимся, чтобы на этой площадке прозвучали истории успеха наших клиентов и партнеров.

  1. Если Вы сами хотите поделиться опытом, то это просто великолепно — мы с радостью пригласим Вас в качестве выступающего.
  2. Всем остальным в обязательном порядке регистрироваться и приходить пить пиво слушать доклады.

Я на этом мероприятии расскажу про наш опыт внедрения GoldenGate в финансовом и телекоммуникационном секторе. Кроме того, будет новая тема — Geospatial Real-Time Analytics (это комбинация Oracle CEP и Oracle Spatial) для решения задач мониторинга подвижных объектов и датчиков, а также для пространственно-чувствительного маркетинга.

Более детальная информация содержится у Андрея Пивоварова.

Зарегистрироваться также можно по http://oracleday.ru/bi-beer-party/register.php.

Oracle анонсирует планы по интеграции продуктов Datanomic

Oracle недавно приобрел европейского поставщика инструментов обеспечения качества данных Datanomic. Компания Datanomic является лидеров в области обеспечения качества данных о клиентах и проверки на соответствие списку требований (Watch List compliance screening).

Продукт компании Datanomic, dn:Director, используется во многих крупных компаниях финансового сектора, ритейла, страхования, телекоммуникаций, а также компаниях, предоставляющих коммунальные услуги.

Webcast назначен на 19 июля 2011 в 19:00 по Москве.

Continue reading ‘Oracle анонсирует планы по интеграции продуктов Datanomic’ »

Использование GoldenGate для отката части базы данных или Flashback для MS SQL

Как известно, в СУБД Oracle есть ряд технологий , объединенных общим названием FLASHBACK. Например, FLASHBACK DATABASE позволяет нам откатить всю базу данных на некоторое время в прошлое, а FLASHBACK TABLE делает то же самое, но для набора таблиц.

Эта функциональность по понятным причинам, отсутствует в других базах данных. Но на помощь нам приходит GoldenGate. Изначально GoldenGate предназначен для синхронизации СУБД приемника с СУБД источника. Проще говоря, это операция “ROLL FORWARD”, но с помощью GoldenGate можно делать также и “ROLL BACK” определенного подмножества транзакций.

Идея весьма элегантная и простая:

  • Мы меняем порядок операций в TRAIL на обратный
  • Операции DELETE превращаем в INSERT и наоборот INSERT в DELETE
  • В UPDATE мы меняем местами значения BEFORE и AFTER
  • Меняем местами метку начала и конца транзакции.

Вуаля! Теперь GoldenGate продвигает нашу базу данных в прошлое. Для этих целей в GoldenGate есть специальная утилита REVERSE. Детали можно посмотреть в Chapter 21. “Undoing data changes with the Reverse utility” в Oracle® GoldenGate Windows and UNIX Administrator’s Guide.

Continue reading ‘Использование GoldenGate для отката части базы данных или Flashback для MS SQL’ »

SoftBank Mobile мигрировал с Teradata на Exadata

На глаза попалась интересная новость. imageВторой по величине оператор сотовой связи Японии SoftBank Mobile мигрировал с Teradata на Exadata.

Это уже далеко не первый случай, когда Oracle выигрывает у Teradata по совокупности параметров. Но цифры меня просто поразили:

  • 36 стоек Teradata были заменены 3 стойками Exadata;
  • объем хранилища увеличился в 1.5 раза;
  • анализ данных за день на Teradata занимал 25 часов, а теперь лишь 7 часов.

По словам менеджера проекта: “Поскольку Exadata это по-прежнему СУБД Oracle, то она обладает ясной, прозрачной архитектурой, позволяющей предсказуемо добиться высоких результатов”.

Внедрение было выполнено всего за 3 месяца.

Подробнее про внедрение можно почитать в Case Study.

Система координат Google Maps в Oracle Spatial (SRID 3785, 3857, USE_SPHERICAL)

Недавно имел беседу с одним из PM по Oracle Spatial. Выяснились интересные подробности.

Как известно, Google в картографии для простоты использует сферическую математику (ну не слышали они в школе, что Земля – это эллипсоид). Oracle Spatial работает правильно и считает землю именно эллипсоидом, поэтому некоторые объекты после преобразования корректно не ложатся на карту Google.

Continue reading ‘Система координат Google Maps в Oracle Spatial (SRID 3785, 3857, USE_SPHERICAL)’ »

Использование кэширования в GoldenGate (Client Result Cache)

Вид с крыши Hilton Athens на ночной АкрополисGoldenGate чаще всего используют для репликации данных в реальном времени. Он обладает встроенными возможностями по преобразованию данных – например, может разбить столбец на два столбца или может часть данные послать в одну таблицу, а часть в другую. Тем не менее, преобразования – это не самая сильная сторона GoldenGate – он не обладает всеми возможностями ELT-инструментов или самописных скриптов.

* Этот пост вдохновлен ночным видом на Акрополь в Афинах (см. фото), где я был на тренинге на прошлой неделе.

Continue reading ‘Использование кэширования в GoldenGate (Client Result Cache)’ »

Geospatial Real Time Analytics in Turkcell

По исследованию аналитиков одним из основных трендов последних лет в BI является тренд по использованию технологий Complex Event Processing: ссылка 1, ссылка 2. Я уже писал о технологии Oracle CEP, но не делал это применительно к Real Time Analytics. Однако недавно появилось довольно интересное внедрение в Turkcell.

Представьте, что вы заходите в торговый центр — оператор сотовой связи знает, к какой соте вы подключены и, таким образом, примерно знает, где вы находитесь. Он может порекомендовать вам, что в одном из магазинов торгового центра действуют специальный скидки или открылся новый ресторан. Оператор связи может доставлять рекламу, чувствительную к пространственному положению клиента.

Идея простая, но реализация не так проста, поскольку информация о текущем положении абонентов обычно нигде централизовано не собирается и эту информацию тяжело использовать в маркетинговых системах.

Turkcell реализовала такой подход к маркетингу с использованием Oracle Complex Event Processing и Coherence. Это возможно, поскольку Oracle CEP тесно интегрирован с возможностями Oracle Spatial. Ниже по ссылке можно прочитать детали использования.

Историю успеха Turkcell.

У меня есть более детальная информация по внедрению, но публиковать ее нельзя, поэтому если есть какие-то вопросы – можно контактировать со мной лично – я дам контакты и организую общение со специалистами, внедрявшими решение в Turkcell.

Построения хранилища, работающего в реальном времени с использованием технологий GoldenGate

Введение

Нашел недавно неплохой документ:Accelerating your business with Data Integration на сайте Oracle. В общем то, документ довольно старый, но не потерявший своей актуальности. В нем рассказывается о построение хранилища данных с использованием технологий GoldenGate. Разделы 1-3 дают общее понимание необходимости наполнения хранилища в реальном времени, рассматривают различные технологии, а последующие главах рассказывается о применимости GoldenGate и приводятся некоторые истории успеха.


Хранилища данных более не используются исключительно для стратегической отчетности, аналитики и прогнозирования. Все больше компаний прикладывают усилия, чтобы сделать хранилище данных частью их повседневной работы, а это ведет к тому, что хранилища становятся критичными для бизнеса. Важным требованием к таким хранилищам является сокращение задержки при доставке новых данных в хранилище, а идеальным является доставка таких данных в реальном или близком к реальному времени. Новые требования должны быть тщательно проанализированые – особенно в тех случаях, когда уже сделаны большие инвестиции в ETL-инструменты, работающие в пакетном режиме.   Почему данные в реальном времени так важны? Для того чтобы помогать операционным пользователям и влиять на их последующие действия, корпоративное хранилище данных должно знать, что происходит сейчас. Существует много технологий, которые позволяют извлекать данные для хранилища и потребность в данных с низкой задержкой заставляет IT-подразделения проанализировать весь спектр подходов: пакетный ETL в течение дня, микробатчи, EAI, ELT и захват измененных данных (CDC) в реальном времени. Определить, какое решение или комплекс решений будут переносить данные быстрее и “правильнее” — это довольно сложная задача. В этой статье я рассмотрю основные тренды, которые толкают хранилище данных в сторону хранилища в реальном времени. Будут предложены примеры business value  для данные в реальном времени, оценены различные методы извлечения данных, а также будет приведен обзор технологий GoldenGate для хранилищ данных в реальном времени с примерами клиентом, которые лидируют в области применения хранилищ.

Содержание

  1. Введение: хранилища данных и “реальное время”
  2. Эволюция хранилища данных
  3. Подходы к извлечению данных для хранилищ, работающих в реальном времени
  4. GoldenGate для хранилищ данных, работающих в реальном времени
  5. Компании, использующие GoldenGate для построения хранилищ в реальном времени
  6. Итоги.

Continue reading ‘Построения хранилища, работающего в реальном времени с использованием технологий GoldenGate’ »