Что такое Oracle Spatial и где он может быть полезен: загрузка данных

imageСитуацию с данными можно грубо разделить на 2 случая:

  1. Oracle Spatial используется в ГИС-подразделении
  2. Oracle Spatial используется в других подразделениях

В первом случае данные обычно уже есть и их достаточно загрузить в СУБД Oracle. Для этих целей можно использовать различные способы. Здесь я приведу их в порядке предпочтения:

Continue reading ‘Что такое Oracle Spatial и где он может быть полезен: загрузка данных’ »

Что такое Oracle Spatial и где он может быть полезен: хранение пространственных данных

Это первый пост в серии "Основы технологий".

imageЯ сам в свое время долго пытался понять, зачем нужен Oracle Spatial, долго искал, читал документацию. Сейчас по прошествии многих лет мне понятно, что нет какого-то простого и понятного документа. Есть вот такие проспекты, которые сразу начинают говорить о кораблях во вселенной. Есть также документация, которая все-таки скорее справочник, чем учебник. Одно хорошо — есть книга Pro Oracle Spatial for Oracle Database 11g. Она очень даже полезна. В этом посте я надеюсь сделать простое и понятно введение в пространственные технологии Oracle.

Continue reading ‘Что такое Oracle Spatial и где он может быть полезен: хранение пространственных данных’ »

О пользе ASM для GoldenGate

В предыдущем посте Новые возможности GoldenGate 11.2: режим Downstream я описывал, как использовать downstream-режим для извлечения изменений в реальном времени на удаленном сервере. Но буквально сегодня наткнулся в переписке на другой способ. Он работает только если в качестве хранилища используется ASM.

Continue reading ‘О пользе ASM для GoldenGate’ »

Новые возможности GoldenGate 11.2: режим Downstream

Как известно раньше GoldenGate мог работать в двух режимах:

  • ARCHIVEDLOGONLY – для извлечения изменений используются архивные журналы
  • “MIXED” (такого термина нет, но я его ввел) – для извлечения изменений используются как архивные, так и оперативные журналы.

Режим ARCHIVEDLOGONLY хорош тем, что позволяет вынести обработку на отдельный или standby сервер, выкладывая архивные журналы в обработку GoldenGate любым доступным способом. Но у него есть и недостатки. Основной – это отсутствие реалтаймовости. Нам приходится дожидаться архивации журнала, а она, вообще говоря, может происходить и раз в сутки.

В Streams есть режим “Downstream” – он решает эту проблему. В этом режиме мы заставляем базу данных источника пересылать журналы в потоком режиме на целевую систему, а там эти журналы разбираются на лету и пишутся в очередь для дальнейшего применения. 

image

В GoldenGate 11.2 этот режим также был реализован. Он, по сути, использует наработки Streams. Сделано это за счет режима Integrated Capture. Идея остается той же самой, но все управляется из GoldenGate. Плюс это все совместимо со стандартными технологиями GoldenGate.

Как и в случае со Streams мы можем иметь только одну базу данных, доставляющую REDO на целевую систему в реальном времени, все остальные должны использовать архивные журналы.

Continue reading ‘Новые возможности GoldenGate 11.2: режим Downstream’ »

Китайская таможня выбрала GoldenGate для создания отказоустойчивой системы, работающей в реальном времени

В 2001-2004 году в Китайском таможне началось внедрение централизованной системы таможенного декларирования H2000. Эта система обслуживает работу множества различных приложений таможни в 41 океанском порту. Ее задачи:image

  • Информация об импорте/экспорте, средствах транспортировки, рисках должна быть собрана в центральном банке данных
  • Повышение скорости “таможенной очистки” и снижения количества передач данных
  • Повышение качества данных и снижение их дублируемости
  • Центральны аппарат таможни должен иметь доступ к оперативным данным в реальном времени

Идеи простые и понятные. Очень полезные для экономики в целом – ведь Китай живет за счет экспорта. Оставался открытым вопрос о выборе системы, которая создаст резервный центр данных.

Continue reading ‘Китайская таможня выбрала GoldenGate для создания отказоустойчивой системы, работающей в реальном времени’ »

Новые возможности GoldenGate 11.2: разрешение конфликтов

Одним из наиболее востребованных вариантов применения GoldenGate в последнее время стала двусторонняя репликация. Такой способ использования GoldenGate позволяет создать 2 независимых отказоустойчивых центра обработки данных.

В случае построения отказоустойчивых центров мы встречали 2 проблемы:

  • одни и те же данные изменяются в разных центрах
  • один центр отключается, мы переводим пользователей во второй, они там меняют данные, но при восстановлении работы первого центра оказывается, что пользователи повторили часть операций в обоих центрах

Ответ на эти вопросы один – обнаружение и разрешение конфликтов (Conflict Detection and Resolution – CDR). Аббревиатура спорная. У меня она вызывает в голове образ телекоммуникаций.

Continue reading ‘Новые возможности GoldenGate 11.2: разрешение конфликтов’ »

Новые возможности GoldenGate 11.2: полная поддержка преобразования кодировок и русского языка

За последний год при внедрении GoldenGate мы встречали пару задач, которые невозможно было решить с помощью GoldenGate. Вот эти задачи:

  • преобразование кодировки данных, когда целевая СУБД отлична от Oracle
  • поддержка русских имен объектов
  • поддержка русских символов при репликации DDL команд (пожалуй, это самый неприятный кейс – он выходил боком, если в теле пакета или процедуры PL/SQL были русские символы – например, комментарии)

Все эти задачи теперь решаемы с помощью GoldenGate 11.2.

Continue reading ‘Новые возможности GoldenGate 11.2: полная поддержка преобразования кодировок и русского языка’ »

Новые возможности GoldenGate 11.2: Integrated Capture

Вот и вышел GoldenGate 11.2 Patchset 1 – это та точка, где можно начинать пробовать новые возможности GoldenGate. А этих возможностей было введено больше, чем в любой предыдущей версии. В развитие GoldenGate начали вкладываться значительно большие ресурсы.

Первая новая возможность – это Integrated Capture. Oracle еще при покупке пообещал, что GoldenGate впитает то лучше, что было в Streams, но останется таким же простым и легковесным. Integrated Capture – это один из элементов, который построен на базе технологий Streams. А если быть более точным, то технологии XStream.

Continue reading ‘Новые возможности GoldenGate 11.2: Integrated Capture’ »