Infinite Insight on SAP HANA...InfiniteInsight® - 10 лет в России “Приобретя...

Infinite Insight on SAP HANA: актуальные вопросы создания прикладных решений

г.Сургут

14-16 мая 2014г.

InfiniteInsight® - 10 лет в России

“Приобретя KXEN, SAP расширяет возможности прогнозной

аналитики, чтобы раскрыть Большие Данные”

2 Infinite Insight on SAP HANA: актуальные вопросы создания

прикладных решений, ЗАО ТЕРН



От отчетов, через понимание причин,

к прогнозам

Вопросы: Решения:

Как изменится состояние объекта?

Как поведет себя новый объект?

Предсказательное

моделирование

Каковы причины происходящего?

Почему некоторые объекты ведут себя

не так как другие?

Описательное моделирование

Как текущая ситуация выглядит в

различных разрезах? Многомерный анализ (OLAP)

Что произошло и какова текущая

ситуация? Запросы и отчеты

• Анализ и прогнозирование влияния реагентов на параметры призабойной зоны скважины

• Прогнозирование отказов погружного оборудования – переход от обслуживания по регламенту к обслуживанию по состоянию

• Прогнозирование потребления энергии и добычи



Примеры задач в нефтедобывающей отрасли

http://www.google.ru/imgres?imgurl=http://uralpolit.ru/sites/fedpress/files/aleksandrovich/news/oil_well.jpg&imgrefurl=http://uralpolit.ru/news/econom/industry/1355395093-dochka-gazproma-proburit-na-yamale-pochti-polsotni-novykh-skvazhin&usg=__QeE0SnNlv7Hsgc1CWNMZ4DKOncg=&h=480&w=640&hl=ru&start=22&zoom=1&tbnid=YifOOj49EuqByM:&tbnh=103&tbnw=137&ei=mKhOU5ScMoqC4gScjYG4CQ&sa=X&ved=0CCEQrQMwATgU



Два подхода к решению задачи

Построение модели

внутреннего

устройства объекта

• Требует глубоких знаний об

устройстве объекта

• и взаимодействии с окружающей

средой

• Чем сложнее объект – тем

больше неточность в поведении

модели

Построение модели

на основе

статистических

данных

• Поведение объекта на

протяжении продолжительного

периода времени

• Поведение достаточного

количества аналогичных

объектов

http://www.google.ru/imgres?imgurl=http://lib.chipdip.ru/315/DOC000315405.jpg&imgrefurl=http://www.chipdip.ru/product/pcs10/&usg=__Ci4K9k_nQaPAZlDy6iXtFRgD1C0=&h=414&w=600&hl=ru&start=29&zoom=1&tbnid=-gQGxdiIEFc1HM:&tbnh=93&tbnw=135&ei=7rJOU5uCPYel4ASL44DwBQ&sa=X&ved=0CC8QrQMwCDgU

http://www.google.ru/imgres?imgurl=http://www.liberty-salon.ru/images/stati/article98675.jpg&imgrefurl=http://www.liberty-salon.ru/kak_imenno_rabotaet_sekundomer__2273.php&usg=__xA1-UkY1abUsWxr0o6eei4_Yva8=&h=724&w=663&hl=ru&start=7&zoom=1&tbnid=yxvHoSSaM9Ma8M:&tbnh=140&tbnw=128&ei=jLJOU9u2G8KR4ATPzoGoCA&sa=X&ved=0CCsQrQMwBg



Моделирование и использование моделей

Операции с

данными

Представление

и использование Подготовка

данных

Сырые

данные

Исторические данные Обучающие данные

Извест. результат

_______________________________________

1,26 0,19 3,02

Обучение

модели

0

0,05

0,1

0,15

0,2

0,25

Val

ue

_1

32

Pre

ss_

49

Fix_

02

Описание

Новые данные

Данные Неизв. результат

____________________________________

? ? ?

Предсказ. результат

2,19 0,85 1,07

Моделирование



Построение моделей оценки вероятности поломки

• Задача

– По историческим данным

связать известные

данные о оборудовании с

фактом поломки

– По новым данным

сделать прогноз поломки

Построение

Применение



Модель учитывает каждый показатель

• Для получения прогноза

– Берется каждый

показатель

– С весом,

соответствующим его

важности

(определяется при

построении модели)

– Все взвешенные

атрибуты суммируются.

• Чем больше общий вес

взвешенных атрибутов

(скор), тем выше

вероятность поломки

Значения, понижающие

вероятность Атрибуты

Значения,

повышающие

вероятность

KxMissing IND_1 {Y}

[5 ; 6] & KxMissing NUM_POS_TR_3MNT ]56 ; 210]

]82000 ; 85000[ &

KxMissing Inflow_amount <82000

{0} Is_using_MTR {1}

KxMissing Last _month_fix [1]

[9456.49 ; 29608.8] AVG_AMT_3MNT ]1466.67 ; 1750]

KxMissing NUM_MNT_3MNT [1 ; 3]

]504 ; 2216] Temp_IND47 [-483 ; 445]

[0.666667 ; 319.667] AVG_OUT_3MNT ]59685.4 ;

6.39011e+006]

[17 ; 18] NUM_TR_3MNT ]34 ; 536]

Поломка



Работа со связанными объектами с InfinteInsight® Social

• Для более точного прогноза учитывается положение объекта

в сети

• Группы связанных объектов могут рассматриваться как

объект исследования


KXEN Extreme DataMining меняет правила

Выбор параметров

Интерпретация

Би

зн

ес-в

оп

ро

с


Подготовка данных Построение модели

Проверка модели

Традиционный подход data-mining Затраты на 1 модель

3 дня – 6 недель

Подход KXEN: 15 минут - 3 часа!!!

Бизнес-в

опрос

Построение м

одели

Интерпретация


Вы

бор

параметров

Наша компания строит теперь сотни моделей за то же время, что раньше уходило на одну

Клиент из финансовой сферы

Модели за часы а не за дни – вот то что нужно. Кампании всех типов проходят у нас теперь 365 дней в году, постоянно развиваясь и показывая отличный результат.

David Norris – Bloor research

10

The Infinite Insight.TM

Фабрика м

оделей

Программные интерфейсы: DCOM API / CORBA API / C++ /

Пользовательские интерфейсы: KJDM / KxShell

• Построен на промышленных стандартах: Java Data Mining (JDM), Web-services, Predictive Modeling Markup Language (PMML), SQL.

• Поддержка Unicode и 64-битной архитектуры.

• Предоставляет SSL и PAM авторизацию и журнал действий

• Манипулирование данными поддерживает относительную агрегацию

11

АНАЛОГИЧНЫЕ ПРОЕКТЫ

Впишите сюда название презентации и название компании 12



Проект в Федеральной Сетевой Компании

Генерация

МЭС

ЭС ЭС ЭС

МЭС

ЭС ЭС ЭС

МЭС

ЭС ЭС ЭС

Федеральная Сетевая Компания

Данные для анализа ПЕРВЫЙ ЭТАП

• Телеизмерения

– Генерация

– Напряжения

– Ток

– Частота

– Перетоки по линиям

• Метеостанции

• Календарь

ВТОРОЙ ЭТАП

Данные первого этапа +

Перетоки

■ Межсетевые

■ ГК

■ РСК

■ С иностранными государствами

База ремонтов

■ Воздушных линий

■ Подстанций

Суммарные показатели

■ По всей системе

■ По линиям проходящим через

подстанции

40 608 записей

1 062 параметра

10 минутный интервалы

За период 21-04-08 – 01-09-08

Infinite Insight on SAP HANA: актуальные вопросы создания

прикладных решений, ЗАО ТЕРН 14



Модели прогнозирования потерь по энергосистеме

• 6 Моделей

– Общая модель с учетом всех параметров

– Модель зависимости потерь от напряжения,

напряжения в контрольных точках

– Модель зависимости потерь от метеоданных

– Модель зависимости потерь от ремонтов

– Модель зависимости потерь от транзитных перетоков

по сечениям

– Модель зависимости потерь от суммарного перетока

активной мощности по всем трансформаторам 500 кВ

на уровне МЭС

• Все построенные модели предоставлены в виде файла

MS Excel

http://www.google.ru/imgres?imgurl=http://www.fsk-ees.ru/upload/medialibrary/85f/85f3210964ee0009542a9c6834ca9cbf.JPG&imgrefurl=http://www.fsk-ees.ru/about/&usg=__Gi1U_Rs3FrF05tmZWgQR_EiWe48=&h=200&w=200&hl=ru&start=6&zoom=1&tbnid=c1y7wJWUVB0IFM:&tbnh=104&tbnw=104&ei=UtlPU-iTHeWN4wT2uYCADw&sa=X&ved=0CCcQrQMwBQ

• 40 000 записей

• 1 064 первоначальных

параметра

• 53 параметра в итоговом

варианте

• Средняя ошибка

0,19 мВт

• Наиболее влияющие параметры

– Отдача по перетоку

мощности с ... ГЭС, сеть

ФСК

– Генерация активной

мощности ... ГРЭС

– Приѐм по перетоку

мощности с ... ГЭС, сеть

ФСК



Общая модель с учетом всех параметров

http://www.google.ru/imgres?imgurl=http://www.fsk-ees.ru/upload/medialibrary/85f/85f3210964ee0009542a9c6834ca9cbf.JPG&imgrefurl=http://www.fsk-ees.ru/about/&usg=__Gi1U_Rs3FrF05tmZWgQR_EiWe48=&h=200&w=200&hl=ru&start=6&zoom=1&tbnid=c1y7wJWUVB0IFM:&tbnh=104&tbnw=104&ei=UtlPU-iTHeWN4wT2uYCADw&sa=X&ved=0CCcQrQMwBQ



Водопроводная компания, Франция

• Постоянный контроль качества воды по 5 параметрам на

входе и на выходе

• Возможность воздействия 20 реагентами

• Построенные модели позволяют диспетчеру оценить

потенциальные последствия воздействия каждым из

реагентов до их применения и выбрать оптимальное

сочетание реагентов



ОАО Вымпелком

• Оперативное выявление причин повышенного

количества обрывов связи

• 1000 параметров с каждого коммутатора для каждого

соединения

• Время анализа при применении KXEN сократилось с 2

недель до 10 минут

19

SAP BusinessObjects и Infinite Insight.

Создание прикладных решений



Логистика

HR

Финансы

Аналитики

Сбыт

Руководители

Надзорные органы Переработка

Банки

Партнеры Добыча

Общее видение и предсказательное моделирование

Oracle OLAP SQL SAP

HANA

Хотелось бы, чтобы система предсказывала и

рекомендовала, что делать?

….

Данные

Информация

Знания

Reports Ad-hoc Dashboards Scorecards Search-based BI Mobile BI

Predictive

modeling

Data Mining

Предсказательное

моделирование



http://www.google.ru/imgres?imgurl=http://photoshop-i-ya.ru/wp-content/uploads/image/Shariki%2520v%2520PSh/7_%2520Neprozrachnost_%2520chernogo_.jpg&imgrefurl=http://photoshop-i-ya.ru/uroki-po-fotoshop/kak-risovat-v-fotoshop-shariki-businki&usg=__ImZYxwXCr1b2Z2M1lbyELsn4xvA=&h=609&w=699&sz=29&hl=ru&start=57&zoom=1&tbnid=OGnpRnpnAyWpbM:&tbnh=121&tbnw=139&ei=15NFUovOJaqI4ATP-ID4BQ&prev=/search%3Fq%3D%25D0%25BE%25D0%25B1%25D1%258A%25D0%25B5%25D0%25BC%25D0%25BD%25D1%258B%25D0%25B9%2B%25D0%25BA%25D1%2580%25D1%2583%25D0%25B3%2B%25D1%2588%25D0%25B0%25D1%2580%26start%3D40%26inlang%3Dru%26newwindow%3D1%26sa%3DN%26hl%3Dru%26gbv%3D1%26ie%3DUTF-8%26tbm%3Disch&itbs=1&sa=X&ved=0CEcQrQMwEDgo



http://www.google.ru/imgres?imgurl=http://blog.cellularfirm.ca/wp-content/uploads/2012/02/ipad2-beautyshot.jpg&imgrefurl=http://blog.cellularfirm.ca/celluar-firm-ipad-2-giveaway/&usg=__HygrZTK0lbPdM4AXGaUsnCKIbYs=&h=457&w=640&sz=116&hl=ru&start=161&zoom=1&tbnid=TFD6Fi_olWENzM:&tbnh=98&tbnw=137&ei=yBVHUPqyHuqi4gTDooGQBQ&prev=/search%3Fq%3DiPad%2B2%26start%3D160%26um%3D1%26hl%3Dru%26lr%3D%26newwindow%3D1%26sa%3DN%26gbv%3D1%26ie%3DUTF-8%26tbm%3Disch&um=1&itbs=1

http://www.google.ru/imgres?imgurl=http://images.blog-u.net/wp-content/uploads/original/2012_01/Android-Smartphone__Sony-Ericsson-Xperia-arc-Super-Slim-Android-Smartphone-with-Reality-Display-angle_63.jpg&imgrefurl=http://images.blog-u.net/tech/android-smartphone-sony-ericsson-xperia-arc-super-slim-android-smartphone-with-reality-display-angle/&usg=__kEjlX8tk__TQDbA1E2Zc6lemSU4=&h=532&w=1024&sz=83&hl=ru&start=16&zoom=1&tbnid=zHku21adtzUCCM:&tbnh=78&tbnw=150&ei=yBBHUPvvBoOB4gSm5YDIBA&prev=/search%3Fq%3Dsony%2Bandroid%2Bsmartphone%26um%3D1%26hl%3Dru%26lr%3D%26newwindow%3D1%26sa%3DN%26gbv%3D1%26ie%3DUTF-8%26tbm%3Disch&um=1&itbs=1

http://caricatura.ru/parad/drozdov_sergey/pic/5726.jpg


Корпоративная ИАС - Для кого

Для Руководителя:

прозрачно-достоверный

управленческий анализ «сверху – вниз»

• Ситуационный центр • Информационные панели • План-факт мониторинг • Мобильные решения доверие к цифрам,

независимость от «человеческого фактора»

Аналитики: самообслуживание

• Произвольные запросы и отчетность

• Визуальный менеджмент

• Анализ «Что - если»

• Скрытые закономерности,

прогнозные модели, рекомендации

Сотрудники подразделений Коллективная работа,

доступ к «своим» отчетам

Обновление

Получение рассылок

Консолидация данных из разных источников и подразделений

SQL SAP

HANA 21

CUSTOMER CUSTOMER ID CUSTOMER NAME CUSTOMER CITY CUSTOMER POST CUSTOMER ST CUSTOMER ADDR CUSTOMER PHONE CUSTOMER FAX

ACCOUNT ACCOUNT NUM OPEN DATE STATUS

HANDSET MANUFACTURER

CALL TYPE TYPE ID NETWORK DESCRIPTION

CDR CALL TYPE DURATION

Model

Builder

2

2 Построение моделей по ADS

Models Warehouse

4 SQL или UDF передаются в ХД

4

SQL & UDF

3

3 KXEN преобразует модели в SQL или UDF

1 Построение аналитических наборов данных (ADS)

Analytical Data Set (ADS)

AD

S

Gen

erato

r

1

5

5 другие приложения вызывают SQL или иной код для скоринга

Аналитические приложения

Архитектура аналитического решения

22

Интерполяционные диаграммы потерь в энергосистеме



Гистограммы напряжения

по системам шин разного класса



Корреляционная зависимость

Напряжения и потерь в энергосистеме



26

Обогащение восприятия прогнозных моделей.

Пример



27


Пример



28


Пример



29


Мобильные решения. Пример



Прогнозная информационная модель. Пример



Infinite Insight.TM

• Решение для:

– Автоматизации моделирования

– Простого использования

– Оперативного понимания и описания ситуации

– Получения быстрых результатов

– Интеграции с другими решениями

– Оперативного развертывания в операционной системе для применения



СПАСИБО!

Докладчик: Аветисов М.М., Федечкин Э.П.

Компания: ЗАО ТЕРН

Должность:

Infinite Insight on SAP HANA...InfiniteInsight® - 10 лет в России “Приобретя...

Documents

Transcript of Infinite Insight on SAP HANA...InfiniteInsight® - 10 лет в России “Приобретя...