Загрузка...
Учебная работа. Курсовая работа: Реализация компонентов информационной системы архива спутниковых данных
На тему:
Реализация компонент информационной системы архива спутниковых данных
Владивосток, 2008
Содержание
Содержание
1. Введение
1.1 Глоссарий
1.2 Описание предметной области
1.3 Неформальная постановка задачки
1.4 Обзор имеющихся способов решения
2. Требование к окружению
3. Спецификация данных
4. Многофункциональные требования
5. Проект
5.1 средства реализации
5.2 Модули и методы
5.3 Структуры данных
6. Реализация и тестирование
Заключение
Перечень литературы
1. Введение
1.1 Глоссарий
· метаданные – «данные о данных». Короткое структурированное описание, содержащее информацию о определённом ресурсе.
· Система метаданных (информационная система) – программный комплекс, включающий в себя базу метаданных, каталог данных на его базе, сопутствующие интерфейсы доступа и ряд обслуживающих утилит
· каталог спутниковых данных – система, основанная на метаданных, предоставляющая юзеру информацию о файлах спутниковых данных организации
· База метаданных – база данных, содержащая записи метаданных
· Система инвентаризации (инвентарь) – часть системы метаданных, занимающаяся регистрацией размещения файлов и имеющая набор интерфейсов для доступа, сначала автоматическом режиме
· утилита инвентаризации – консольное приложение, созданное для регистрации файла в системе инвентаризации.
· Продукт – файл начальных данных либо конечной продукции, который быть может зарегистрирован в системе.
· архив – ресурс на файловом сервере, доступный по протоколам SMB (также FTP/HTTP), содержит файлы товаров.
· Идентификатор (файла) – строчка определённого формата, совершенно точно идентифицирующая продукт Центра.
· Java Runtime Environment –
исполнительная среда Java
· ИК канал – Инфракрасный канал
1.2 Описание предметной области
В истинное время спутниковые данные обширно употребляются как источник инфы, нужной для поддержки научно-исследовательской, хозяйствено-экономической, также военно-политической деятель человека на Земле. Количество спутников, поставляющих такового рода данные, безпрерывно растет, также как и количество спутниковых центров, занимающихся приемом и обработкой данной для нас инфы.
Одним из таковых спутниковых центров является Центр колективного использования Регионального Спутникового Мониторинга Окружаюшей Среды ДВО ран. Центр работает на базе Лаборатории спутникового мониторинга ИАПУ ДВО ран [1].
Юзерами, которых интересует продукция спутниковых центров, обычно являются [2]:
· Исследователи природных объектов Земли
· Создатели способов и средств измерений и исследовательских работ
· Природохранные организации
Главными целями юзеров является получение набора значений физических характеристик, восстановленных на базе спутниковых данных, также конкретная идентификация определённых объектов на изображениях. Типовой сценарий работы клиента спутникового центра содержит в себе: выбор данных и типа их обработки; заказ обработки и получение её результатов.
Перечень базисных задач, решаемых спутниковыми центрами, обычно содержит в себе [2]:
· Приём данных со спутников
· Хранение архива данных за некий просвет времени
· Информационно-справочный сервис
· Обработка данных различного уровня, включая исходную корректировку и направленную на определенную тематику обработку
· Доставка данных пользователю (как начальных, так и обработанных)
Вследствие большого потока разнородной инфы возникает огромное количество заморочек, связанных с хранением, поиском и получением определенных данных, нужных пользователю. В решении главный массы этих задач помогают метаданные. Обыденное предназначение метаданных – обеспечение юзера исчерпающей информацией о спутниковых изображениях архива как в целом, так и по определенному изображению. наличие данной для нас инфы дозволяет юзеру стремительно отыскать данные, подходящие для решения его задач.
Современной тенденцией развития спутниковых центров является их объединение в единые информационные сети. Это обосновано неодинаковыми способностями центров по работе с данными того либо другого вида и необходимостью употреблять данные остальных организаций. Главными неуввязками такового обмена данными являются отличающиеся интересы участников, необходимость согласования эталонов обмена, также вопросцы оплаты и ограничений на применение данных.
Результатом выработки единой стратегии решения перечисленных заморочек в Европейском галлактическом агентстве (ESA) явилась система SSE (Service Support Environment). Макет системы был отлажен в рамках проекта MASS-ENV, имеющегося с 2001 года. Разработкой концепции, эталонов и ПО занимается группа компаний под предводительством Spacebel
(Бельгия). Проект основан на открытых и признанных разработках, таковых как Web Services и SOAP. Задачей системы является создание среды, объединяющей все службы дистанционного зондирования Европы и остальных государств.
1.3 Неформальная постановка задачки
Существующая в Центре информационная система включает базу метаданных для файлов данных спутников NOAA, Интернет-интерфейс и утилиту для сбора метаданных из файлов данных. Кроме этого на базе пакета SSE Toolbox в осеннюю пору 2007 года был сотворен каталог данных, встроенный в тестовом режиме в среду SSE. Встаёт задачка интеграции более принципиальных ресурсов Центра в данную среду. Кроме этого, развитие системы распределённой обработки спутниковых данных, работающей в Центре, просит развития базы метаданных и программных интерфейсов для доступа к ней в рамках Центра.
На рис. 1 представлена архитектура разрабатываемой информационной системы:
1. Сбор инфы о местоположении файла
2. Занесение инфы в каталог (наружный URL файла)
3. Извлечение всей потенциально подходящей инфы из файла и занесение её БД соответственного типа
4. Отображение метаданных на каталог в согласовании с требованиями мотивированной системы
5. Интерфейс в одну из наружных систем
Рис. 1 Архитектура разрабатываемой информационной системы.
На данном шаге более принципиальной является реализация процедур сбора метаданных; также организация системы инвентаризации, которая упростила бы поиск файлов спутниковых данных, находящихся на разных ресурсах (сетевых хранилищах и CD/DVD носителях).
Целью данной работы является:
· Создание набора классов, реализующих функции генерации метаданых для данного файла данных спутника MTSAT-1R.
· Реализация системы инвентаризации.
1.4 Обзор имеющихся способов решения
В данный момент в Центре работает информационная система для файлов данных, приобретенных со спутников серии NOAA [3], она дозволяет создавать поиск и просмотр инфы как через веб-интерфейс на веб-сайте Центра, так и через SSE Portal. Реализована утилита извлечения метаданных из файлов данных, приобретенных с полярно-орбитального спутника FY-1D.
Имеющиеся утилиты извлечения метаданных не могут быть применены для файлов данных приобретенных со спутника MTSAT-1R, потому что они имеют иной формат.
Новенькая архитектура системы метаданных востребовала создание подсистемы, отвечающей за справочную информацию о расположении и методе доступа к файлам спутниковых данных. До сего времени эта информация хранилась в базе метаданных вместе с остальными атрибутами. Решение данной для нас задачки в рамках отдельной подсистемы (инструментария) делает модернизацию и поддержку проще, позволяя компонентам эволюционировать независимо.
2. Требование к окружению
Малые аппаратные требования включают оперативную память 64 Мб, Микропроцессор с частотой 500 МГц.
Также для работы программки нужна установка Java Runtime Environment версии не ниже 1.5.
Для инвентаризатора также нужна установка сервера PostgreSQL, JDBC драйвер для PostgreSQL.
3. Спецификация данных
Процедур сбора метаданных работает с данными, приобретенными со спутника MTSAT-1R и сохраненных в формате HIRID.
файл данных состоит из кадров. Любой кадр представляет собой данные описывавшие этот кадр, и значения приобретенные радиометрами спутника.
4. Многофункциональные требования
Процедур сбора метаданных просит:
• способы для извлечения инфы, применяемой для наполнения полей метаданных
• способы для генерации уменьшенного изображения
Изображение обязано строиться по данным 1-го из каналов (ИК ) и быть кодировано в формат grayscale JPEG и доступно в виде массива б.
Модули, генерирующие метаданные на базе спутниковых данных должны реализовывать интерфейс MetadataSource. Этот интерфейс обрисовывает случайный источник метаданных для файлов полярно-орбитальных спутников. интерфейс просит определения ряда способов для получения нужной инфы. Кроме этих способов, класс, реализующий данный интерфейс, обязан иметь конструктор с файлом в качестве параметра (Java.io.File).
Для инвентаризации нужно:
· База данных инвентаризации.
· утилита, заполняющая базу данных инструментария данными о расположении файла.
· утилита для извлечения этих данных из инструментария.
5. Проект
5.1 средства реализации
Потому что в связи с специфичностью лаборатории нужна работа под хоть какой платформой и существующая часть системы написана на языке Java в качестве языка программирования был избран язык Java. Сервером базы данных был избран PostgreSQL потому что он уже работает в лаборатории.
Инструментарий разработки:
· Sun JDK 1.6 – компилятор + утилиты и библиотеки
· IntelliJ IDEA 7 – встроенная среда разработки
· PostgreSQL 8.2 – базы данных
· pgAdmin 3 – утилита для администрирования СУБД PostgreSQL
5.2 Модули и методы
Проект состоит из 2-ух классов MTSATMetadataSource и MTSAT.
MTSATMetadataSource – реализует интерфейс MetadataSource. Снутри конструктора создаются экземпляр. Реализованы способы возвращающие нужные поля этого экземпляра.
MTSAT – отвечает за получения нужных полей метаданных на базе инфы из заголовка файла, в том числе координаты границ изображения, даты и времени приёма, виток спутника, числа строк и присутствующие каналы.
Таблица 1. Главные способы класса MTSATMetadataSource
Способ
Описание
T0MetadataSource
Конструктор класса, на входе имеет файл
getFormat getSatellite getSensors getTime getLu getRu getRd getLd getLength getTurn getQuality getBlock0 getPreview
способы для чтения значений полей. Вызываются снаружи и нужны для функционирования класса в рамках системы
Таблица 2. Главные способы класса MTSAT
способ
Описание
MTSAT
Конструктор класса, на входе имеет файл
setSatelliteId setChannels setSatelliteTurn setQualitysetLatRu setLonLu setLength setLonRu setLatRd setLonRd setLatLd setLonLd
способы для установки значений соответственных полей. Вызываются изнутри
getId getFile getSatelliteId getSatelliteTurn getChannels getLength getQuality getLatLu getLonLu getLatRu getLonRu getLatRd getLonRd getLatLd getLonLd
способы для чтения значений полей. Вызываются снаружи и нужны для функционирования класса в рамках системы
Для инвентаризатора были реализованы две утилиты INV и INF.
INV- получает на вход полное имя файла, архив в каком он хранится и тип спутника. Заполняет базу данных инструментария данными о файле и выдает идентификатор файла.
INF-
получает на вход идентификатор файла. Выдает информацию о файле.
Таблица 3. Главные способы класса MTSATMetadataSource
способ
Описание
getID
Вход дата и время. Выход идентификатор
getDate
Возвращает дату.
Get Time
Возвращает время.
5.3 Структуры данных
База данных состоит из 4 таблиц file, folder, archive, file2folder.
file – Содержит информацию о файле
folder – Содержит информацию о размещении
archive – Содержит информацию о архиве
file2folder – связывает файл с его размешением
Таблица 4. таблица file
Заглавие поля
Тип
Описание
Id
Text
Идентификатор файла
Name
Text
имя файла
invDate
Timestamp
Дата-время инвентаризации файла
createDate
Timestamp
Дата-время сотворения файла
modifDate
Timestsmp
Дата-время конфигурации файла
Size
Int8
Размер файла
Таблица 5. таблица folder
Заглавие поля
Тип
Описание
Id
Int4
Идентификатор папки
Path
Text
Путь к папке
archivID
Int4
Идентификатор архива в каком находиться имя архива
Label
Text
Описание
Таблица 7. таблица file2folder
Заглавие поля
Тип
Описание
fileId
Text
Идентификатор файла
folderId
Int4
Идентификатор папки в какой лежит файл
6. Реализация и тестирование
Начальный код классов занимает 20 кб (приблизительно 500 строк кода на языке Java и приблизительно 50 строк на SQL). Код размещен в 5 файлах MTSAT.Java, MTSATMetadataSource.java, INV.java, INF.java inventor.sql .
Механизм вызова модуля, соответственного типу файла, в истинное время не реализован, потому для тестирования сбора метаданных был применен последующий облегченный код:
Class aClass = Class.forName(«em.bv.storage.MTSATMetadataSource»);
Constructor constructor = aClass.getConstructor(File.class);
MetadataSource source = (MetadataSource) constructor.newInstance(newFile(«g5200803010133.gms»));
System.out.println(«time=»+ source.getTime());
System.out.println(«length=» + source.getLength());
System.out.println(«quality=» + source.getQuality());
System.out.println(«source.getLu() = » + source.getLu().toTrimString());
System.out.println(«source.getRu() = » + source.getRu().toTrimString());
System.out.println(«source.getRd() = » + source.getRd().toTrimString());
System.out.println(«source.getLd() = » + source.getLd().toTrimString());
System.out.println(«satelliteTurn=» + source.getTurn());
System.out.println(«preview length=» + source.getPreview().length);
System.out.println(«blk0 length=» + source.getBlock0().length);
При тестировании системы инвентаризации были применены имеющиеся файлы, заполнена база данных инвентаризации. Получена информация о любом файле, хранящемся в данной для нас базе.
В процессе тестирования ошибок найдено не было.
Заключение
Таковым образом, в процессе курсовой работы:
· Был исследован формат файла данных со спутника MTSAT-1R
· Был реализован метод получения нужных полей с подходящими данными
· Была разработана структура базы данных инструментария
· Реализована утилита внесения данных в инвентарь
· Реализована утилита получения данных из инструментария
Перечень литературы
1. Центры коллективного использования Русской Академии Наук // М.: Наука, 2004, 192 с.
2. Ефремов В.Ю., Лупян E.A., Мазуров A.A., Прошин А.А., Флитман Е.В. разработка построения автоматических систем хранения спутниковых данных // Современные препядствия дистанционного зондирования Земли из вселенной: Физические базы, способы и технологии мониторинга окружающей среды, потенциально небезопасных объектов и явлений. Сборник научных статей. Москва: Полиграф сервис, 2004 с. 437-443
3. каталог метаданных для файлов NOAA // Центр регионального спутникового мониторинга окружающей среды ДВО ран // http://www.satellite.dvo.ru
]]>