Разработка программного модуля

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Введение

На сегодняшний день развитие информационных технологий и огромная скорость интернета, сделали передачу нескольких гигабайт данных простой дешевой повседневной операцией, с которой может справиться любой пользователь персонального компьютера. Мы привыкли, что можем без особых затруднений переслать в другую часть света любую информацию, будь то текстовое сообщение или многочасовая видеозапись, которая занимает на диске десятки гигабайт. Но проблема передачи большого объема данных крайне актуальна для нефтяных компаний, а также геофизических служб, которые предоставляют им свои услуги по анализу состояния нефтяных скважин.

Как показывает практика, более быстрый интернет сначала появляется в крупных мегаполисах, а затем постепенно проводится и в остальные города. К сожалению, месторождения не всегда располагаются вблизи крупных городов с развитой инфраструктурой и широкополосным интернетом. Чаще всего они находятся вдали от цивилизации и соответственно от интернета. Вполне возможно, что до ближайшего населенного пункта с достаточно быстрым интернетом нужно будет проехать сотни километров. Если там будет работать хотя бы сотовая связь, то можно конечно воспользоваться GPRS (General Packet Radio Service) передачей данных, но назвать это быстрым интернетом сегодня уже нельзя. Передача гигабайта данных будет происходить очень медленно, да и цена за передачу такого объема данных велика.

Следует учитывать, что результаты геофизических исследований скважин могут достигать нескольких гигабайт. Эти данные необходимо, как можно скорее передать в центр обработки информации, где аналитики смогут их интерпретировать и выдать заключение о состоянии скважины заказчикам.

Удаленность полевых партий, а также сокращение сроков предоставления заключения заказчикам геофизических работ приводят к необходимости быстрой передачи промыслово-геофизической информации по каналам связи со скважины. С другой стороны, если бы было возможно сжать данные в десятки раз, то их передача по медленным каналам стала бы достаточно быстрой и недорогой, а геофизическая компания, использующая такой подход, получила бы конкурентное преимущество.

Целью данной работы является разработка программного обеспечения, позволяющего преобразовать каротажные данные таким образом, чтобы их передача стала эффективной. Эффективной будем называть такую передачу данных, цена и время которой будут минимальны, а передаваемые данные достаточными для последующей интерпретации.

Критерии эффективной передачи данных:

- Время. Передача данных должна длиться не более 2-х часов.

- Цена. Стоимость передачи данных не должна превышать 500$.

- Объем данных. На сегодняшний день составляет не более 1 ГБ.

Для достижения поставленной цели нужно решить следующие задачи:

1. Изучить предметную область.

2. Рассмотреть имеющиеся варианты решения выявленной проблемы.

3. Рассмотреть возможные альтернативы для ее разрешения, и обосновать оптимальность выбранного подхода.

4. Провести проектирование системы.

5. Реализовать проект в программном коде.

6. Оформить эксплуатационную документацию.



1. Анализ предметной области

1.1 Описание предметной области

Во-первых, перед тем как изучать бизнес-процессы в геофизических организациях необходимо понять, как эти организации связаны с нефтяными компаниями, которые владеют скважинами. Геофизики находятся на аутсорсонге у нефтяников, то есть они выполняют для них некоторую работу. Таким образом, получается, что все бизнес-процессы в геофизических организациях являются бизнес-процессами в нефтяных организациях. Ни для кого не секрет, что главной задачей, а значит и основным бизнес-процессом, в нефтяной сфере является «Добыча нефти». Значит все процессы, которые мы будем в дальнейшем рассматривать, по сути, будут являться частью огромного процесса под названием «Добыча нефти».

Так как в основном нас интересует работа геофизических, а не нефтяных компаний, то мы рассмотрим лишь ту часть бизнес-процессов нефтяных организаций, к которым относятся процессы, выполняемые геофизиками.

Всю деятельность геофизиков можно свести к одному бизнес-процессу под названием «Геофизическое исследование скважины». Так как геофизическая организация является нанимаемым со стороны исполнителем необходимых работ, то единственно возможным вариантом сотрудничества может быть лишь заключение договора на выполнение некоторых работ. Естественно договор заключается в соответствии с законами Российской Федерации, как договор между двумя юридическими лицами: геофизической и нефтяной компаниями. Нефтяные компании обычно проводят тендеры среди геофизических предприятий, в результате которых заключается договора. Договор иногда может подразумевать многолетнее сотрудничество между двумя организациями.

Если договор на одну конкретною работу, то в нем указывается, когда и где должно быть проведено геофизическое исследование. То есть время, выделенное на выполнение исследования, а точнее сроки, в течение которых заказчик должен получить результат от проведенных работ, в виде заключения; и скважина, которую необходимо исследовать. Также в договоре указываются виды работ, которые должны быть произведены геофизиками.

Способов исследования в геофизике очень много, и со временем их становиться все больше, так как постоянно разрабатываются новые подходы для исследования нефтяных скважин. Вот некоторые из них:

- Электрический каротаж. Объектом исследований являются электрические свойства горных пород. Этот способ представляет собой непрерывную запись электрических свойств, вскрываемых скважиной: отложений и содержащихся в них флюидов [2,12,13,14].

- Радиоактивный каротаж. Этот вид геофизических исследований скважин связан с двумя основными методами, один из которых, известный как гамма-каротаж, измеряет природную радиоактивность пород, а другой, называемый нейтронным каротажем, измеряет эффект бомбардировки пород нейтронами, испускаемыми искусственным источником [2,12,13,14].

- Акустический каротаж. При акустическом каротаже производят непрерывную запись по разрезу времени, необходимого для того, чтобы звуковая волна пересекла вскрытую скважиной толщу пород определенной мощности. Таким образом, измеряется величина, обратная скорости прохождения звука в различных осадках [2,12,13,14].

- Газовый каротаж. Этот вид каротажа проводится в процессе бурения скважин, особенно поисковых и разведочных. Его главная цель обнаружение мельчайших количеств газа и нефти, выносимых буровым раствором из ствола скважины на поверхность [2,12,13,14].

- Термокаротаж. Термический каротаж проводится с помощью опускаемого в скважину температурного электрода, состоящего из платиновой проволоки полуметровой длины, которая быстро воспринимает температуру заполняющих скважину флюидов [2,12,13,14].

- Инклинометрия - метод определения основных параметров (угла и азимута), характеризующих искривление буровых скважин, путём контроля инклинометрами с целью построения фактических координат бурящихся скважин [2,12,13,14].

- Кавернометрия. Кавернометрический разрез представляет собой непрерывную запись изменений диаметра ствола скважин [2,12,13,14].

- Механический каротаж - это стандартный способ исследования, применяемый на большинстве скважин вращательного бурения, заключается в измерении времени, необходимого для увеличения глубины на единицу [2,12,13,14].

- Ядерно-магнитный каротаж. Этот вид каротажа позволяет производить непосредственные измерения содержания водорода в жидкой фазе, содержащейся в пройденной скважиной толще. Поэтому данные ядерно-магнитного каротажа указывают на присутствие или отсутствие жидкостей в пористых и проницаемых частях разреза и дают возможность определять содержание в породах воды и углеводородов [12].

Обычно для каждого метода каротажного исследования применяется свой специально предназначенный прибор, а так как подобные приборы стоят миллионы, то не все они могут присутствовать у одной геофизической организации. Таким образом, нефтяным компаниям приходится заключать договора с различными геофизическими организациями в зависимости от того, какие работы они способны произвести.

После проведения геофизических исследований, полученные данные используются нефтяными компаниями. На основании этих данных производятся все остальные работы:

- разрез данной скважины сопоставляется с разрезами соседних скважин;

- изучается геологическое строение скважины;

- выясняется форма и пространственное распространение выявленных продуктивных пластов;

- намечаются интервалы перфорации;

- подсчитываются запасы месторождения;

- составляется проект разработки залежи;

- осуществляется эксплуатация выявленных продуктивных пластов;

- изучается техническое состояние скважины;

- производится контроль месторождений нефти и газа;

- составляется план проведения прострелочно-взрывных работ в скважинах.

Производителей геофизических приборов очень много. Каждый из них создает свой формат данных, в который записывается полученная от приборов информация. Геофизика, как наука, не стоит на месте. Появляются новые способы исследования скважин и регистрации в них данных. Соответственно появляются новые геофизические приборы и новые форматы для хранения геофизической информации.

Вот некоторые из форматов представления геофизических данных:

- LAS.

- LIS.

- DLIS.

- DLIS2;

- Express4.

- Кедр.

- WinLog.

- ГИС-АКЦ.

- Геофит.

- ЭМДСТ-МП.

- МИД-К.

Некоторые производители приборов даже создают уникальные форматы данных для каждого прибора. Такие форматы обычно называют диалектами. Так, например, существует огромное количество диалектов МИД-К.

Наличие в предметной области множества стандартов представления данных усложняет создание любого программного обеспечения, предназначенного для работы с геофизическими данными. Форматы представления данных настолько различаются, что невозможно создать единый подход к их чтению.

При регистрации обычных каротажных кривых объем данных составляет до 1Мб на 1 км записи при шаге по глубине 10 см. Совсем иначе обстоят дела с «многомерными» данными, например, волнового акустического каротажа, скважинного акустического телевизора, магнито-импульсной дефектоскопии. Объем регистрируемых данных может варьироваться от нескольких десятков до сотен мегабайт на 1 км записи, а для больших интервалов записи регистрация комплексом геофизических методов может достигать нескольких гигабайт. Причем с увеличением разрешающей способности методов, переходом на сканирующие приборы объемы исходной геофизической информации будут неизменно увеличиваться.

Результаты геофизических исследований скважин могут достигать нескольких гигабайт. Эти данные необходимо как можно скорее передать в центр обработки информации, где аналитики смогут их интерпретировать и выдать заключение о состоянии скважины заказчикам.

На сегодняшний передача нескольких гигабайт данных для большинства людей является простой повседневной операцией. Однако месторождения нефти находятся далеко от населенных пунктов, что создает дополнительные сложности для передачи геофизической информации.



1.2 Анализ способов передачи данных

Исходя из описания предметной области, можно выделить основные потоки информации, которые в ней имеются. В первую очередь следует заметить, что исходные данные получаются непосредственно на нефтяной скважине. Этим занимаются полевые партии. В их задачи входит работа с дорогостоящим геофизическим оборудованием, которое они спускают в скважину для регистрации некоторых ее характеристик. Существует множество различных приборов, которые могут быть для этого использованы [2].

После получения исходных данных их необходимо проанализировать. Для этого данные должны быть доставлены в центр обработки информации. Обычно геофизические организации имеют один такой центр. При этом скважины, на которых они работают, могут находиться в любом месте, как на территории России, так и за ее пределами. Получается, что информация с множества скважин стекается в одно место. Как уже было замечено ранее на это уходит достаточно много времени. Полевым партиям требуется иногда несколько недель для того, чтобы вернуться с данными.

После того, как данные поступят к интерпретаторам, они смогут их проанализировать с помощью специального программного обеспечения и выдать заключение. Далее эта информация отправляется заказчику геофизических работ. То, что делают нефтяные компании с этой информацией, в данной работе рассматриваться не будет, так как это не относится к бизнес-процессам геофизических организаций.

Путей для решения проблемы быстрой передачи промыслово-геофизической информации по каналам связи со скважины не так уж много. Далее мы проанализируем основные из них, и выявим, как плюсы, так и минусы каждого подхода. Это поможет нам не только сравнить их, но выбрать самый оптимальный подход к разрешению возникшей проблемы.

Воспользоваться интернетом в ближайшем городе.

Во-первых, самый разумный и сразу приходящий на ум вариант - это отправиться в ближайший населенный пункт, где имеется возможность быстрой передачи данных.

Скорее всего, есть месторождения, на которых так и делают. Более того, это может быть действительно наилучшим способом для выхода из сложившейся ситуации, но только в тех случаях, когда расстояние до ближайшего города с быстрым, возможно даже широкополосным, интернетом не слишком велико. Если это расстояние можно преодолеть на машине за пару часов, то проблема решена. Но, к сожалению, в большинстве случаев это не так. Как показывает практика, месторождения нефти и газа, располагаются очень далеко от крупных городов. Более того до ближайшей деревни, в которой еще не скоро появиться интернет придется очень долго добираться.

Некоторые партии, которые отправляют работать на скважину, добираются до пункта назначения не одну неделю. Исходя из всего выше сказанного, можно сделать вывод, что такой подход, хоть и имеет право на существование, но крайне редко может быть применим. Лишь незначительное количество месторождений находятся вблизи крупного населенного пункта, где можно воспользоваться современными быстрыми средствами связи для передачи данных. Так как для большинства месторождений данный подход не позволяет достаточно быстро передать необходимую информацию, то далее его больше рассматривать не будем.

Провести интернет на скважину.

Второй подход, который мы рассмотрим это проведение широкополосного интернета прямо на скважину. Если на месторождении будет проведен современный интернет, причем его скорость не будет уступать той, которая сейчас имеется практически у каждого жителя крупного города, то, тогда передача каротажных данных в центры интерпретации, станет такой же простой задачей, как отправка электронного письма другу.

Конечно, проведение интернета не дешевое удовольствие. Особенно, когда речь идет об отдаленных от цивилизации местах. Многие сочтут, что нефтяной бизнес достаточно прибыльное дело, чтобы организовать высокоскоростной доступ в мировую сеть на каждом месторождении.

Однако, для того, чтобы провести интернет, необходимы колоссальные средства. Речь идет о затратах в десятки миллионов, а иногда и миллиардах рублей только для того, чтобы провести интернет в одно место. Естественно никто не собирается тратить такие суммы на интернет в каждом отдельно взятом месторождении.

Обычно, геофизические работы выносятся нефтяными компаниями на аутсорсинг, то есть нефтяники нанимают геофизические службы для выполнения необходимых работ на скважине. После чего требуют, чтобы им предоставили заключение о проделанной работе в максимально короткий срок. Получается данная проблема ложиться не на нефтяные компании, а на плечи геофизиков, которые должны сами найти решение из сложившейся ситуации. Так или иначе, ни те, ни другие не заинтересованы в столь высоких издержках. Следовательно, никто не будет решать данную проблему таким образом.

Воспользоваться GPRS передачей данных.

Если нет достаточно быстрых средств связи, то можно попробовать использовать более медленные каналы передачи данных. Наиболее распространенным из таких на сегодняшний день является пакетная передача данных через сети сотовых операторов [1].

К таким способам связи можно отнести GPRS и EDGE, которые называют вторым поколением беспроводных телефонных технологий, то есть 2G. Максимальная скорость при передаче через GPRS должна составлять около 115 кбит/с, но в реальности она составляет около 48 Кбит/сек.

«EDGE основаны на новой модуляционной схеме, допускающей гораздо более высокие скорости передачи данных через воздушный интерфейс» [5]. Для EDGE цифры, характеризующие скорость передачи данных, не намного, превосходят GPRS.

Учитывая, что требуется передать информацию объемом от 1 ГБ, то несложно подсчитать, что понадобиться около 13 часов для передачи по EDGE. А для GPRS необходимое время для передачи вообще становиться фантастическим, достигая 50 часов для всего лишь одного гигабайта данных.

Хотя и считается, что сети сотовых операторов, без которых невозможна передача информации по GPRS, обладают большой зоной покрытия, и встречаются повсеместно вдоль основных магистральных дорог и, практически, в каждом населенном пункте [7]. На самом деле их покрытие не так уж и велико.

Если посмотреть на карту зоны покрытия 2G оператора Билайн на 21 апреля 2014 [11], то можно заметить, что оно в основном присутствует в европейской части России, и практически не возможно встретить в Сибири и на Дальнем Востоке, которые в свою очередь, известны своими запасами нефти на весь мир.

Покрытие других операторов не сильно отличается от представленного на данной карте. То есть с уверенностью можно заявить, что данный способ также не всегда сможет помочь в передаче данных со скважины. Однако во многих случаях он будет крайне полезен, так как в европейской части России тоже немало месторождений нефти, на которых проводятся геофизические работы.

Воспользоваться 3G интернетом.

Хотя данный стандарт передачи данных и обладает хорошими характеристиками в плане скорости, но зона его покрытия еще меньше, чем у сетей второго поколения [11].

Воспользоваться спутниковым интернетом.

С точки зрения покрытия и доступности наиболее подходящим способом передачи информации является спутниковый интернет. На сегодняшний день в зону его покрытия попадает практически вся Россия. Таким образом получается, что где бы не находилась скважина, оттуда можно будет передать промыслово-геофизическую информацию через спутник.

На сегодняшний день существует несколько компаний, предлагающих спутниковую передачу данных, но лишь INMARSAT специализируется на передаче геофизической информации.

Широкополосная сеть Инмарсат (Inmarsat) BGAN - это новая мобильная спутниковая система, обеспечивающая высокоскоростную передачу данных (на скоростях до 492 кбит/с), высококачественную телефонную связь, а также прием/передачу факсимильных сообщений. Она работает в самой удаленной точке Земли, где нет ни стандартных телефонных сетей общего пользования, ни сотовой связи, тем самым стирая понятие "границы наземной связи" и делая коммуникации (доступ в интернет, телефонию, VPN-сети и др.) действительно глобальными.

Стойкие к внешним воздействиям, компактные (размером с половину ноутбука) спутниковые терминалы BGAN обеспечивают высококачественную и надежную связь из любой точки зоны действия системы. Их можно легко и быстро подключить к персональному компьютеру. Работа с ними не требует специальных знаний [10]. Вес оборудования всего 1,4 кг. Размеры: 21,8х21,7х5,2 см.

Главным минусом передачи данных через спутник является ее стоимость. Передача 1 МБ стоит 7$. Несложно подсчитать, что передача 1 ГБ без сжатия обойдется в 7000$. Естественно подобные издержки неприемлемы для геофизических компаний.

1.3 Результаты анализа предметной области

Исходя из проведенного анализа предметной области, можно сделать вывод, что имеется проблема быстрой передачи данных ГИС (геофизического исследования скважины). Передача должна быть не просто быстрой, но и не дорогой.

Критерии эффективной передачи данных:

- Время. Передача данных должна длиться не более 2-х часов;

- Цена. Стоимость передачи данных не должна превышать 500$;

- Объем данных. На сегодняшний день составляет не более 1 ГБ.

Однако на сегодняшний день нет предложений со стороны операторов связи, которые бы удовлетворяли этим требованиям. С другой стороны, если бы было возможно сжать данные в десятки раз, то их передача по имеющимся каналам связи стала бы приемлемой с точки зрения заданных критериев эффективности.

Таким образом, мы приходим к необходимости создания специального программного обеспечения для сжатия каротажных данных.



2. Проектирование и разработка ПО

2.1 Разработка моделей бизнес-процессов

В этой главе мы рассмотрим основные бизнес-процессы данной предметной области. Так как нас интересует взаимодействие процессов в общем виде, без лишних подробностей, то для описания процессов будем использовать нотацию IDF0. Одним из преимуществ данной нотации является то, что она помогает понимать взаимосвязь бизнес-процессов, не вникая в их детали. Другое преимущество в том, что нотация IDEF0 является одной из самых популярных нотаций моделирования бизнес-процессов. Так как эта нотация самая распространенная и чаще всего применяемая для описания бизнес-процессов, то она будет понятна большинству специалистов.

Всю деятельность геофизиков можно свести к одному бизнес-процессу под названием «Геофизическое исследование скважины». Далее рассмотрим более подробно этот процесс как есть.

Бизнес-процесс «Геофизическое исследование скважины» AS-IS.

Бизнес-процесс «Геофизическое исследование скважины» состоит из двух последовательно выполняемых процессов:

- регистрация данных;

- интерпретация.

Сначала данные должны быть получены путем их регистрации, а затем проинтерпретированы.

Бизнес-процесс «Регистрация данных».

Процесс регистрации данных происходит непосредственно на скважине. Геофизические организации имеют в своей структуре, так называемые полевые партии. Эти партии и занимаются регистрацией каротажных данных. Они постоянно ездят на различные скважины для проведения соответствующих работ. Сама регистрация каротажных данных производится при помощи специальных приборов. Существует множество разнообразных геофизических приборов. Выбор прибора зависит от того какие именно данные о скважине необходимы заказчику.

Независимо от типа прибора на вход регистрации данных идет некоторая физическая информация. Под термином «физическая информация» будем понимать - информацию, присущую процессам отражения в неорганической природе. Отражение может быть: механическое - пространственное перемещение; физическое - тепловое, электромагнитное, гравитационное; химическое - на атомномолекулярном уровне; ядерное - элементарные частицы [4].

Так как некоторые виды каротажа подразумевают работу с опасными материалами, например, радиоактивными веществами при радиоактивном каротаже, то естественно работа полевых партий жестко регламентирована различными техническими указаниями. В первую очередь это техника безопасности.

После проведения работ на скважине прибор регистрировавший данные выдает всю полученную информацию в виде компьютерного файла. Формат данных, в котором представлена информация по скважине, зависит от прибора, а точнее от компании производителя прибора. У каждой такой компании есть свои форматы для хранения каротажных данных. Бывают случаи, когда для каждого конкретного прибора создается свой уникальный способ записи данных в файле.

Далее файл с данными должен быть передан в контрольно-интерпретационную партию. Как уже говорилось ранее, в геофизике данная задача имеет ряд сложностей, связанных с ценой и сроками, за которые возможно передать информацию.

Бизнес-процесс «Интерпретация каротажных данных».

Интерпретация полученных на скважине каротажных данных выполняется специалистами из контрольно-интерпретационной партии. Данная работа также регламентирована различными техническими указаниями. На сегодняшний день процесс интерпретации всегда производится с использованием специального программного обеспечения, которое значительно облегчает работу. Следовательно, данная деятельность выполняется в соответствии с руководством пользователя выбранной для интерпретации программы.

Компания ФХС-ПНГ предоставляет геофизическим организациям специальный программный продукт под названием «Соната». Хотя существуют и другие аналогичные программные продукты, которые также могут использоваться в геофизических организациях.

После выполнения интерпретации формируется документ, в котором содержится вся необходимая информация по скважине и пород прилегающих к ней. Эта информация пересылается заказчику геофизических работ.

Бизнес-процесс «Геофизическое исследование скважины» TO-BE.

Во введении мы уже рассказывали о том, что основной проблемой при реализации бизнес-процесса «Геофизическое исследование скважины» является не эффективная передача данных от полевых партий к контрольно-интерпретационной партии. Повторюсь на всякий случай, что эффективной мы называем такую передачу данных, цена и время которой будут минимальны, а передаваемые данные достаточными для последующей интерпретации.

Бизнес-процесс A12 «Передача данных в КИП».

Для разрешения возникшей проблемы, указанной ранее, предлагается внести изменения в бизнес-процесс «Геофизическое исследование скважины». Изменения будут заключаться в вынесении из процесса регистрации данных действий, связанных с передачей данных, в отдельный бизнес-процесс, который назовем «Передача данных в КИП». Таким образом, Геофизическое исследование скважины будет состоять из следующих бизнес-процессов:

- регистрация данных;

- передача данных в КИП;

- интерпретация.

Чтобы более подробно рассмотреть, как должен быть устроен бизнес-процесс передачи данных в контрольно-интерпретационную партию, произведем его декомпозицию. Из рисунка 2.3. видно, что передача данных состоит из следующих бизнес-процессов:

- сжатие каротажных данных;

- передача сжатых данных по имеющимся на скважине каналам связи;

- распаковка сжатых каротажных данных.

Бизнес-процесс A21 «Загрузка каротажных данных».

Для того чтобы сжать данные в десятки раз, необходимо использовать нестандартные алгоритмы. То есть рассматривать эти данные не как бессмысленный набор байтов, а как информацию в виде каналов, состоящих из зарегистрированных сигналов на определенной глубине. Для того чтобы представить эти данные в нужном виде, их необходимо определенным образом прочитать из исходного файла.

Как уже говорилось выше, существует огромное многообразие: подходов к регистрации данных в скважине; приборов, которыми эти данные регистрируются; и форматов данных, в которых может быть записана информация, полученная с приборов. Все это многообразие усложняет создание любого программного обеспечения в данной предметной области.

Так как загрузка является необходимым и важным процессом при передаче данных, а также очень сложным (с точки зрения пользователя само сжатие намного проще, чем предварительная загрузка каротажных данных перед сжатием), то данный процесс был выделен, как отдельный, предшествующий сжатию.

Бизнес-процесс A22 «Сжатие каротажных данных».

Для того чтобы цена за передачу каротажных данных уменьшилась до приемлемого значения, предполагается сжимать эти данные. Сжатие будет осуществляться при помощи специального программного обеспечения, которое необходимо будет разработать. Называться оно будет «Сжатие ГИС», так как основной его задачей является сжатие ГИС перед его отправкой в КИП. Термин ГИС означает данные, полученные в результате геофизического исследования скважины.

На входе данного бизнес-процесса уже загруженные каротажные данные, в виде каналов, состоящих из зарегистрированных сигналов на определенной глубине. На выходе бизнес-процесса будем получать некоторый файл, содержащий всю необходимую для последующей интерпретации информацию. Размер выходного файла должен быть в десятки раз меньше исходного, иначе передача не будет эффективной.

Сжатием каротажных данных будут заниматься полевые партии сразу после регистрации приборами.

Бизнес-процесс A23 «Передача сжатых данных по имеющимся на скважине каналам связи».

Далее сжатые каротажные данные должны быть переданы сотрудникам контрольно-интерпретационной партии. Для этого могут использоваться различные каналы связи (см. Глава 1.2.), но скорее всего, будет доступна лишь спутниковая связь, так, как только ее зона покрытия охватывает практически всю территорию России.

Естественно передача данных должна быть жестко регламентирована. Должны быть специальные указания, как для сотрудников полевых партий, так и для сотрудников КИП. Деятельность контрольно-интерпретационной партии должна быть организована таким образом, чтобы данные с множества скважин передавались сразу же аналитикам, которые должны их интерпретировать.

На входе бизнес-процесса каротажные данные, передаваемые со скважины, а на выходе те же данные, но уже принятые в центре обработки информации.

Бизнес-процесс A24 «Распаковка сжатых каротажных данных».

Перед тем как начать анализировать переданные со скважины данные, их необходимо преобразовать в исходное представление. То есть представить каротажные данные в том виде, в котором они были до сжатия. Это необходимо для того, чтобы они могли быть загружены в программное обеспечение, которым будет осуществляться интерпретация. Так как программа Соната также является продуктом той же компании, что и разрабатываемое программное обеспечение, то в первую очередь необходимо предусмотреть возможность конвертирования сжатых данных в формат сонаты.

Получается, что для эффективной передачи каротажных данных необходимо разработать программное обеспечение «Сжатие ГИС», которое сможет не только загружать и сжимать геофизические данные, но и восстанавливать их. Также необходимо подчеркнуть, что данная программа должна быть установлена на ноутбуках сотрудников полевых партий и на компьютерах в контрольно-интерпретационной партии.

Оптимизация описных процессов будет происходить за счет внедрения программного обеспечения «Сжатие ГИС». Данная программа должна будет позволить геофизическим организациям минимизировать время и сумму, которые необходимо потратить на передачу каротажных данных. При этом обеспечить достаточную целостность данных для последующей интерпретации.

Время, потраченное на передачу данных в КИП, не должно превышать двух часов, а сумма должна быть не более 500$. Исходя из этих условий, объем передаваемой информации будет ограничен до 40 Мб по GPRS, 150 Мб по EDGE и 100 Мб по Inmarsat BGAN (спутниковый интернет).

Каротажные данные представляются в виде так называемых каналов. Каналы делятся на одномерные и многомерные. Каждый канал представляет из себя набор данных на определенной глубине, и имеет шаг по глубине - расстояние, через которое записаны данные. Одномерные каналы на каждой отметке глубины содержат одно значение, а многомерные соответственно некоторый массив значений.

В зависимости от типа зарегистрированных многомерных данных объем может варьироваться от нескольких десятков до сотен мегабайт на 1 км записи. Таким образом, объем данных при регистрации комплексом геофизических методов на больших интервалах (несколько километров) может достигать нескольких гигабайт. С появлением новых сканирующих приборов объемы регистрируемой геофизической информации будут неизменно увеличиваться.

Сжатие исходных данных без потерь с помощью стандартных архиваторов может обеспечить степень сжатия в среднем в 1,5 - 3 раза. Естественно этого не достаточно для достижения поставленных условий: до двух часов и менее 500$.

Следовательно, для получения необходимой степени сжатия стоит использовать нестандартные алгоритмы. Для этого необходимо рассматривать сжимаемые данные не как некоторый непонятный набор байтов, а как геофизическую информацию, записанную в виде каналов, состоящих из зарегистрированных сигналов на определенной глубине. Для того чтобы представить исходные данные в требуемом виде, их сначала необходимо определенным образом прочитать из исходного файла.

Методы сжатия.

Для решения вопроса оперативной передачи геофизической информации большого объема необходимо применять алгоритмы, позволяющие с минимальными погрешностями в информативных частях исходных данных, обеспечивать степень сжатия на порядок выше стандартных алгоритмов сжатия без потерь.

Предполагается использовать алгоритмы и способы сжатия данных основанные на ДКП (дискретное косинусное преобразование) и на ДВП (дискретное вейвлет преобразование).

Суть метода заключается в следующем. Исходные данные подвергаются предварительной обработке (без потери точности) для приведения к удобному для преобразования виду. В зависимости от вида полученных в результате преобразования данных подбирается необходимая вэйвлет-функция. Далее проводится двумерное ДКП + ДВП. Затем полученные коэффициенты квантуются, а малозначимые обнуляются. Затем с помощью усовершенствованных алгоритмов арифметического сжатия полученная последовательность упаковывается. Распаковка происходит в обратной последовательности. Аналогично предыдущей методике, данные могут быть разбиты на различные информативные блоки и для каждого блока установлена своя степень погрешности/сжатия. Это позволяет сильнее сжимать менее информативные участки и наоборот, оставлять более информативные участки с меньшими искажениями.

Данная методика позволяет адаптировать сжатие данных для любых известных геофизических методов, регистрирующих большой объем исходной информации.

Требования к ПО «Сжатие ГИС».

Основными функциональными возможности разрабатываемого ПО должны быть:

- загрузка каротажных данных,

- сжатие загруженных данных,

- распаковка данных,

- экспорт в другие форматы,

- визуализация информации.

Экспорт в другие форматы необходим для того, чтобы после распаковки в КИП эти данные можно было загрузить в любую программу для интерпретации. Визуализация данных может быть очень полезна, так как позволяет не только просмотреть имеющиеся данные, но и выбрать из них те, которые следует передать на обработку. Таким образом, помимо сжатия имеется еще и возможность фильтрации данных пользователем.

Все покупатели геофизических программ работают на ОС семейства Windows. Поэтому приложение будет разрабатываться под Windows с помощью среды разработки Visual Studio. Так как требуется визуализировать огромные массивы каротажных данных (сотни мегабайт), то приложение должно будет быстро работать с графикой. Поэтому было решено вести разработку с помощью системы для построения клиентских приложений - WPF. Графической технологией, лежащей в основе WPF, является DirectX, в отличие от Windows Forms, где используется GDI/GDI+. Производительность WPF выше, чем у GDI+ за счёт использования аппаратного ускорения графики через DirectX [8].

Требования к модулю загрузки.

Загрузка данных является необходимой частью системы, так как без нее не возможны все остальные действия с данными. Прежде чем сжимать или отображать каротажные данные, их необходимо сначала прочитать из файла.

Существует огромное разнообразие:

- способов регистрации данных в скважине;

- приборов, которые регистрируют эти данные;

- форматов представления данных, в которых может быть записана информация, полученная с приборов.

Все это разнообразие делает проблематичным создание любого программного обеспечения для работы с каротажными данными.

Приборы создаются различными компаниями, которые предпочитают использовать свои собственные способы представления каротажных данных. Таким образом, мы сталкиваемся с проблемой загрузки данных, которая заключается в необходимости загружать в «Сжатие ГИС» информацию из любых возможных источников.

Требования к загрузке:

- возможность добавления в систему загрузки новых форматов;

- загрузка основной информации (каналы данных);

- загрузка дополнительной информации;

- возможность выбора загружаемой дополнительной информации;

- время загрузки не дольше 1 мин на 1 ГБ данных;

- максимально простой и понятный интерфейс, так как загрузка будет осуществляться сотрудниками полевых партий.

Добавление новых форматов в уже готовый модуль загрузки является довольно сложной задачей, так как необходимо встраивать его в уже установленное на компьютере клиента программное обеспечение. Причем обновляя его, а, не переустанавливая, всю программу.

2.2 Проектирование модуля загрузки

Определение формата файла.

Независимо от формата сценарий загрузки должен оставаться неизменным. Каждый формат уникален, поэтому невозможно создать единый подход для чтения всех возможных форматов представления данных. Следовательно, каждый формат необходимо реализовывать отдельно. Это крайне усложняет не только всю систему, но и возможность добавления новых форматов. Фактически в системе должны присутствовать несколько загрузчиков, каждый из которых предназначен для загрузки определенного формата в соответствии с его структурой данных.

Так как форматов очень много, то система должна сама определять к какому именно формату относится тот или иной файл. Пользователь в свою очередь будет должен только выбрать загружаемый файл. После чего начинает работу соответствующий загрузчик. Для определения формата в каждом загрузчике должен быть реализован метод проверки некоторого файла на принадлежность данному формату.

Возможны случаи, когда один и тот же файл может быть корректно прочитан несколькими загрузчиками. Иногда даже совпадает расширение файлов у различных форматов. В этом случае, нельзя однозначно сказать к какому формату относится файл, и каким загрузчиком следует воспользоваться. Если формат определен не однозначно, то пользователю предоставляется список возможных для загрузки форматов.

Также должна быть возможность выбора нескольких файлов для последующей их загрузки. При этом пользователю будет представлен список выбранных файлов для загрузки. Для каждого файла будет отображаться название формата и однозначность его определения.

Однозначность может быть представлена тремя способами:

- Формат однозначно определен - подходит только один загрузчик;

- Неоднозначно - подходят несколько загрузчиков;

- Не определен - ни один из имеющихся в системе загрузчиков не подходит для чтения этого файла.

Абстрактный уровень.

Так как сценарий загрузки будет постоянным для всех форматов, и все загрузчики должны иметь некоторые обязательные составляющие (например, проверка файла на принадлежность формату), то можно спроектировать основную часть загрузки на абстрактном уровне.

В первую очередь абстрактно можно описать класс DataFile - класс файла данных, использующийся непосредственно для чтения файла и сохранения данных в некоторой внутренней структуре. Внутренняя структура данных должна отображать структуру в соответствующем формате.

Так как каждый экземпляр наследника класса DataFile должен быть прикреплен к некоторому файлу, то его инициализация должна происходить с привязкой к загружаемому файлу. Невозможно существование в системе экземпляра наследника класса DataFile, незнающего с каким файлом ему работать, так как это потенциально может вызывать ошибки.

Также необходим некоторый метод чтения данных, который будет запускать механизм заполнения внутренней структуры DataFile данными из файла. При чтении файла возможны незначительные ошибки, информация о которых впоследствии может быть предоставлена пользователю. Для такого случая DataFile должен позволять хранить список ошибок.

Помимо DataFile должен еще присутствовать абстрактный класс загрузчика - FileLoader. Все загрузчики будут реализованы путем создания классов наследников FileLoader. У всех загрузчиком будет метод DetectFormat, который и будет проверять принадлежность файла к формату соответствующего загрузчика. Так как в данном методе проверяется конкретный файл, то путь к нему должен посылаться в этот метод. Самым важным в классе FileLoader будет метод LoadData, так как он будет запускать загрузку данных из файла в приложение сжатия, и преобразовывать данные в тот вид, в котором они уже могут быть использованы далее.

Так как загрузка некоторых форматов может происходить пошагово, то каждый такой шаг будет отображен, как диалог. Работа с этими диалогами будет очень похожей, поэтому их тоже можно описать на более абстрактном уровне.

Пользователь должен иметь возможность выбора загружаемой информации, так как не все может быть нужно для интерпретации.

Выбор загружаемых каналов пользователем.

В файле может находиться разного рода информация, которая может структурирована в фале как угодно. Однако все фалы содержат каналы данных. Основная информация, которую нужно будет загружать из файла, это и есть те самые каналы.

Каждый канал, по сути, является набором значений некоторых физических величин на определенной глубине. Обычно информация приборами записывается с перерывом на различных глубинах. Расстояние, через которое записаны данные, называется шаг по глубине. У разных каналов шаг может быть разным. Каналы подразделяются на одномерные и многомерные. Одномерные каналы на каждой отметке глубины содержат одно значение, а многомерные соответственно некоторый массив значений.

Например, канал дынных волнового сигнала содержит на каждой отметке глубины набор значений. Каждое такое значение было зарегистрировано через определенный временной интервал. Фактически, волновой сигнал -- это двумерный массив значений, который может быть отображен в координатных осях глубины и времени. Все каналы могут быть представлены в виде массива данных.

Каналов в одном файле может быть огромное количество. Некоторые форматы могут не иметь ограничений по количеству записанных в них каналов. Так как не все каналы могут быть нужны пользователю для последующей работы (например, для интерпретации), то у пользователя должна быть возможность фильтрации загружаемых из фала каналов.

Для этого нужно предоставить пользователю отображение хранящейся в файле информации в виде списка, имеющихся каналов. А также дать возможность выбора тех, которые будут далее загружены.

Каналы в файле могут быть сгруппированы, например, по шагу глубины. Следует отображать структуру группирования каналов максимально близко к тому, как они хранятся в файле. При этом у пользователя должна быть возможность просмотра описания для каждого канала.

Выбор пользователем загружаемых из файла дополнительных параметров.

Помимо каналов в файле может содержаться сопутствующая информация:

- расположение месторождения;

- номер скважины;

- имя оператора, производившего регистрацию данных;

- калибровочные параметры прибора, которые могут быть необходимы для последующего анализа;

- комментарии, оставленные оператором;

- расшифровки некоторых сокращений, используемых в данном файле;

- название (тип) прибора, которым был создан файл;

- информация об осях двумерных каналов (временной интервал через, который записан волновой сигнал), такая информация может храниться отдельно от самого канала;

- список датчиков в приборе, а также их характеристики;

- информация р производителе прибора;

- дата регистрации данных.

В качестве дополнительной информации может быть все, что угодно. В зависимости от формата файла такая информация может разной. У некоторых более простых форматов представления данных вообще не подразумевается наличие какой-либо дополнительной информации.

Так или иначе, эта информация может присутствовать в загружаемом файле, и может потребоваться при последующей интерпретации, поэтому ее также необходимо загружать в приложение. Однако грузить все подряд не вариант, так как дополнительная информация может быть очень обширной и по большей части бесполезной.

Следовательно, нужно отображать ее пользователю во время загрузки. А также предоставить механизм выбора необходимой информации, то есть той, которая должна быть загружена. Если заранее (исходя из описания формата) можно сказать, что некоторые информационные блоки в файле, не будут востребованы пользователями, то нужно сразу ограничить пользователя возможностью выбора только в тех информационных блоках, в которых может располагаться необходимая для дальнейшей работы информация.

Любой информационный блок можно представить в виде таблицы. Таким образом, вся дополнительная информация в файле (не зависимо от формата) представляет из себя набор таблиц. Если эти таблицы каким-либо образом структурированы (сгруппированы) в файле, то при отображении их пользователю нужно максимально приближено передать эту структуру.

Учитывая многообразие возможной дополнительной информации, предполагается использование во время загрузки механизма для ее унификации, то есть приведения к единому стандартному виду.

В приложении вся дополнительная информация представлена в виде списка параметров. Каждый такой параметр обладает следующими полями:

- название параметра;

- значение;

- единицы измерения;

- описание.

Название параметра и его значение являются обязательными, в то время как единицы измерения и описание могут быть пустыми. На одном из этапов загрузки пользователю должна быть предоставлена возможность выбора загружаемых параметров, путем выбора строк в таблице.

Если, исходя из описания формата, нельзя сказать какие столбцы таблицы будут содержать значение, а какие название параметра, то пользователь должен иметь возможность самостоятельно указать из каких столбцов таблицы будут браться поля для выбираемых параметров.

Подобный механизм выбора параметров крайне сложный и трудоемкий для пользователя, поэтому необходим еще и автоматический выбор загружаемых параметров. Такой выбор должен осуществляться в соответствии с некоторым шаблоном, в котором указано какие параметры из каких таблиц стоит брать, а также как настроить эти самые таблицы. Пользователь должен иметь возможность настроить выбор параметров один раз для определенного типа прибора, и сохранить их в шаблон, чтобы в дальнейшем не повторять эту операцию.

Интерфейс загрузки должен состоять из следующих диалогов:

- Выбор формата;

- Выбор кодировки;

- Шага загрузки, присущие конкретному формату;

- Прогресс загрузки;

- Результат загрузки.

Наличие выбора кодировки и количество шагов зависит от выбранного формата. Для одних форматов необходим выбор кодировки, для других нет. Каждый формат будет загружен по-своему, поэтому для каждого формата должны быть определены свои внутренние шаги загрузки. Существуют форматы, для которых не требуются шаги, то есть их количество равно нулю.

Одновременно для загрузки могут быть выбраны сразу несколько файлов, в том числе и разных форматов. Файлы загружаются последовательно, один за другим. «Выбор формата» и «Результат загрузки» отображаются один раз для всех загружаемых файлов.

Окно «Выбор формата».

В окне должны быть две навигационные кнопки:

- Далее;

- Отмена.

При нажатии «Далее» переходим к следующему этапу. При нажатии «Отмена» прекращаем загрузку и закрываем все окна.

Окно «Выбор кодировки».

В окне должны быть три навигационные кнопки:

- Далее;

- Пропустить загрузку файла;

- Отмена.

При нажатии «Далее» переходим к следующему этапу. При нажатии «Пропустить загрузку файла» отменяем загрузку текущего файла и переходим к загрузке следующего. При нажатии кнопки «Отмена» прекращаем загрузку и закрываем все окна.

Окно «Шага загрузки».

На каждом шаге любого из возможных загрузчиков должно отображаться окно со следующими навигационными кнопками:

- Далее;

- Пропустить загрузку файла;

- Отмена.

При нажатии «Далее» переходим к следующему шагу загрузчика. После последнего шага переходим непосредственно к самой загрузке. При нажатии «Пропустить загрузку файла» отменяем загрузку текущего файла и переходим к загрузке следующего. При нажатии кнопки «Отмена» прекращаем загрузку и закрываем все окна.

Окно «Прогресс загрузки».

Данное окно отображает, какой процент информации из файла уже загружен, и сколько осталось до конца загрузки файла. В окне должны быть две действующие навигационные кнопки:

- Пропустить загрузку файла;

- Отмена.

При нажатии «Пропустить загрузку файла» отменяем загрузку текущего файла и переходим к загрузке следующего. При нажатии кнопки «Отмена» прекращаем загрузку и закрываем все окна. По завершении загрузки файла происходит автоматический переход к началу загрузки следующего файла.

Окно «Результат загрузки».

Данное окно отображается после загрузки всех файлов, и показывает, какие из загружаемых файлов были корректно загружены. В окне присутствует только одна кнопка «Готово», предназначенная для завершения загрузки.

Окно «Список шаблонов».

В загружаемых файлах может присутствовать различная дополнительная информация, которую можно выбрать для загрузки в наблюдение в виде некоторых параметров. Для быстрого выбора необходимых параметров можно воспользоваться готовым шаблоном. Например, если часто приходиться выбирать одни и те же параметры, то лучше сохранить настройки выбора параметров в шаблон, и в дальнейшем пользоваться этим шаблоном. Интерфейс работы с шаблонами показан на рисунке 2.6.

Интерфейс на шаге выбора дополнительных параметров:

- Применить - если шаблон для загружаемого файла уже существует, то его можно выбрать из списка и применить к текущему файлу. Параметры, указанные в шаблоне автоматически выбираются.

- Сохранить - текущие настройки выбора параметров можно сохранить в выбранный шаблон. Если в поле шаблона введено имя не существующего шаблона, то создастся новый шаблон.

- Шаблоны - открывает окно для просмотра и редактирования списка шаблонов.

Действия, производимые с шаблонами:

- Добавление нового шаблона. По кнопке «Добавить». При этом в списке появляется новый пустой шаблон без указания формата файла, к которому он может быть применен. Добавленный шаблон автоматически переходит в режим редактирования имени.

- Редактирование имени шаблона. Для переименования имени нужно дважды щелкнуть курсором мыши по имени шаблона. Или выделить шаблон и нажать на кнопку «Переименовать». Имя шаблона не может быть пустым и должно быть уникальным.

- Копирование выделенного шаблона. Создает копию шаблона по кнопке «Копировать».

- Удаление выделенного шаблона. По кнопке «Удалить» или клавишей <Del>

- Загрузка шаблонов из внешнего файла по кнопке «Импорт». Нужно будет выбрать файл с расширением *Templates (файл должен быть создан с помощью программы через экспорт шаблонов) и затем выбрать добавляемые шаблоны для загрузки.

...