Veridata — опыт использования

image В последнее время часто приходится участвовать во внедрениях GoldenGate. Большинство этих внедрений идут на живых системах, т.е. конфигурация правится на лету, на лету добавляются новые таблицы и целые схемы для репликации. В конечном счете, любое из этих внедрений, вроде как, несложно. Но, как известно, дьявол всегда в деталях. GoldenGate имеет огромное количество степеней свободы — он очень гибок, но обратная сторона этой свободы состоит в том, что легкое непонимание принципов работы GoldenGate, ведет к рассинхронизации таблиц, которые легко могут быть по несколько терабайт.

Но хуже всего то, что мы можем никогда не узнать о том, что данные рассинхронизированы. Это очень опасно. Мы смигрируем базу данных на новую платформу и, при этом, потеряем часть данных. Построим отчеты на real-time реплике и передадим их в контролирующие органы, не зная, что данные некорректны. Мы захватим не все данные при обновлении хранилища, что приведет к серьезным просчетам в стратегическом планировании. Всего этого можно легко избежать — просто нужно независимое средство контроля, такое как Veridata.

Continue reading ‘Veridata — опыт использования’ »

INST-08063 при инсталляции Oracle BI 11.1.1.7

Сегодня встретил ошибку INST-08063: hostname при инсталляции Oracle BI 11.1.1.7. Ошибка не содержала никаких пояснений. Инсталлятор рекомендовал посмотреть детали в логе, но там тоже ничего не оказалось. Поиск в google и support.oracle.com ничего не дал.

Решение: оказалось совершенно простым. Нужно было правильно прописать узел в /etc/hosts:

Continue reading ‘INST-08063 при инсталляции Oracle BI 11.1.1.7’ »

Инсталляция и работа с Oracle Mapviewer 11.1.1.7 Quick Start

image MapViewer QuickStart Kit – это практически готовый и самодостаточный пакет для запуска MapViewer: не нужно качать сервер приложений, не нужно что-то инсталлировать. Единственное, что нам нужно – это JDK. Я взял последний Oracle JDK 1.7 отсюда. Итак, мы скачали MapViewer QuickStart Kit с сайта OTN.

* на иллюстрации пример анализа стихийных бедствий в США. В одном слое используется heatmap, в другом автоматическая кластеризациция

Continue reading ‘Инсталляция и работа с Oracle Mapviewer 11.1.1.7 Quick Start’ »

Новый Oracle Mapviewer 11.1.1.7… теперь еще и Mapeditor

image В последнее время Oracle радует новыми возможностями. При этом никогда не знаешь, чем обернется новый релиз того или иного продукта. Казалось бы, что мог дать нам заштатный патчсет 11.1.1.7 для Oracle Fusion Middleware? Изменение в 4-ой цифре версии не должны нести революции – ан нет… все гораздо сложнее. Мы уже видели, как в Oracle Event Processing 11.1.1.7 появилась поддержка встроенных устройств, что в корне меняет продукт. Но тут оказывается, что это не последний сюрприз – оказывается, в Mapviewer 11.1.1.7 появился РЕДАКТОР. И не какой-нибудь, а самый что ни на есть тонкий, т.е. не требующий установки приложений на стороне клиента.

Пора бы Oracle уже переходить на систему нумерации версий как в Google Chrome: его выпустил в декабре 2008, а уже сейчас у меня стоит версия Developer Edition 28. Страшно глючная, но таковы современные схемы захвата мира. Разработчики должны выкатывать версии как можно чаще, чтобы постоянно слышать feedback. Ну да ладно – давайте к делу.

Continue reading ‘Новый Oracle Mapviewer 11.1.1.7… теперь еще и Mapeditor’ »

Oracle анонсировал Oracle Event Processing for Oracle Java Embedded

image Похоже, что дело движется к релизу шестого патчсета Oracle Fusion Middleware. Патчсет поднимет версию всех продуктов Oracle в стеке Fusion Middleware до 11.1.1.7. Особо спешащие уже сейчас могут понаблюдать, как появляется документация по версии 11.1.1.7 на сайте Oracle:

http://www.oracle.com/pls/as111170/docindex?remark=homepage

Сам по себе патчсет не должен принести какой-то революции. Скорее всего, это  будет будничная работка над ошибками. Но не все так скучно. Гораздо более интересным является анонс новых продуктов, только недавно вошедших в Oracle Fusion Middleware. Один из таких продуктов — Oracle Event Processing for Oracle Java Embedded. Сам по себе продукт является логичным развитием Oracle Event Processing, давая нам большую гибкость при размещении бизнес-логики.

Если коротко, то задачей Oracle Event Processing (OEP) является анализ событий, поступающих по различным каналам (например, данных о всей активностью абонента сотовой связи), и выдача таргетированной рекламы в нужно время, в нужном месте, чтобы с одной стороны не обозлить клиента частой рекламой, а с другой послать ту рекламу, на которую он точно клюнет. Похожие задачи возникают при мониторинге игры на бирже, анализе передвижения автомобилей, съеме данных с датчиков, которыми обвешаны нефтепроводы, реакции на криминогенную активность и т.д.

Основной проблемой в этом случае является то, что мы можем излишне централизовать обработку событий. Это приведет к большей задержке обработки событий, а также к чрезмерному сетевому трафику. Oracle Event Processing for Oracle Java Embedded призван помочь нам, частично перенося первичную обработку как можно ближе к источнике событий.

Continue reading ‘Oracle анонсировал Oracle Event Processing for Oracle Java Embedded’ »

Упорядочивание операций в GoldenGate (CSN – commit sequence number, RSN – record sequence number)

image Одно из применение GoldenGate – создание в стейджинговой области таблицы с полной историей изменений. Эта история обладает собственной ценностью, но также может быть использована для наполнения хранилища данных. Эта задача несколько менее тривиальна, чем использование GoldenGate для создания репортинговой базы данных.

Использование GoldenGate для наполнения хранилища в режиме близком к реальному времени затрудняет сохранение транзакционной целостности. Тем не менее, эта задача легко решается несколькими способами:

  • использование Oracle Data Integrator, а точнее модуля GoldenGate JKM
  • разработка собственного механизма, учитывающего транзакции (а точнее работающего с диапазонами SCN)
  • полное упорядочивание операций применения данных к целевой системе.

Последний подход работает для систем с небольшой нагрузкой, поскольку для каждой измененной строки на источнике требует запускать DML-операцию на приемнике. Но, тем не менее, такой механизм есть и иногда о нем задают вопросы.

* на рисунке приведена схема интеграции ODI и GoldenGate

Continue reading ‘Упорядочивание операций в GoldenGate (CSN – commit sequence number, RSN – record sequence number)’ »