Reverse engineering XML schema from database

[tadpole]

Никто не встречался с инструментарием, который мог бы посмотреть на колонку в табличке, в которой хранится XML, и, проанализировав значения в этой колонке для заданного подмножества записей, reverse engineer XML схему для хранимого XML'я?


Так же подойдёт инструмент, которому на вход можно дать набор XML -файлов, по которым он сделает XML схему.

[Troll]

если я правильно понял задачу, то в общем случае это невозможно - в конкретных примерах XMLей могут содержаться не все возможные разновидности содержимого

[tadpole]

Сообщение от Troll

если я правильно понял задачу, то в общем случае это невозможно - в конкретных примерах XMLей могут содержаться не все возможные разновидности содержимого

Я думаю, что даже в общем случае это возможно, так как в самом крайнем случае можно сделать по схеме на instance и засунуть их в choice группу.

Однако вопрос был другой - знает ли кто-то конкретный инструментарий, способный решить поставленную задачу?

[Zindur]

тута SQL Forum быстрее ответ найдёшь

[vertex]

Сообщение от tadpole

Так же подойдёт инструмент, которому на вход можно дать набор XML -файлов, по которым он сделает XML схему.

Не думаю что такие существуют, т.к. содержимое/данные в XML-файле не подлежат простому анализу. Это по-сути, как в математике, задача вывода формулы прогрессии по начальному набору елементов, что в переводе на форматирование в XML просто невозможно.

[tadpole]

Сообщение от vertex

Не думаю что такие существуют, т.к. содержимое/данные в XML-файле не подлежат простому анализу. Это по-сути, как в математике, задача вывода формулы прогрессии по начальному набору елементов, что в переводе на форматирование в XML просто невозможно.

Мне не надо анализировать данные, только структуру вытащить.

[KaraNagai]

я думаю не надо замыкаться на сиквеле. нужна любая софтина жрущая много хмл файлов и вырабатывающая _какую_то_ схему которой бы эти файлы соответствовали.

проблема конечно в том что такая схема будет не единсвтенной, и требования типа наименьшая, наибольшая и т.п. не подходят, потому что наименьшая тривиальна, а наибольшей не существует.

вообще задача теоретически интересна. особенно определение практически полезных критериев с помощью которых можно было из всех возможных схем выбрать наиболее полезную.

с решениями не сталкивался, впрочем.

KaraNagai добавил 27.11.2008 в 15:51
подумал - по-простому схема должна описывать лишь все возможные элементы и атрибуты, не накладывая ограничений на количество первых и значение последних в каждом контексте.

тулзу можно написать весьма просто, но вот вопрос будет ли такая схема полезна? и какова вероятность что во всех примерах просто не встретился какой-то элемент или атрибут, который встретится в новых примерах, к которым эта схема будет применяться?

[tadpole]

Антон, ты смотришь на задачу слишком широко

У меня же конкретная потребность. Есть БД, спроектированная Java-программистами, которые считают, что БД - это data dump. Поэтому они в таблицах определяют колонки ID, LAST_UPDATED и XML. И в последней прячут все атрибуты. Мне надо как-то просто и быстро понять, какие атрибуты бывают запрятаны в этом XML'е, какие там всегда есть, а какие не всегда и т.п. Очевидно, что для этого XML'я существует вполне определённая схема. Может, правда, не физически, но в головах этих гениев. К моему сожалению и их счастью, доступа к этим "разработчикам" у меня сейчас нет и в отведённых на анализ временных рамках не предвидется. Поэтому хочется готовый инструмент, который посмотрит на набор XML instances (в БД или не в БД - это уже не важно, как ты правильно заметил) и нарисует схему для данного набора.

tadpole добавил 27.11.2008 в 16:03

Сообщение от KaraNagai

тулзу можно написать весьма просто

Я могу потерпеть до обеда в будущий понедельник

Сообщение от KaraNagai

но вот вопрос будет ли такая схема полезна?

Для меня сейчас - очень.

[svu]

Сложность результата зависит от того, насколько детально хочется прорабатывать схему. Например, хочется ли распознавать типы данных - или достаточно все считать стрингами. Считать ли min/max - или все повторения тупо объявлять 1-unlimited. И т.д.

Каранагай прав, если не углубляться в подобные мелочи, оно пишется на той же жабке довольно шустро. Разумеется, к СУБД привязывать смысла нет. На входе текстовый стрим, на выходе стрим. Unix way...

[tadpole]

Сообщение от svu

Сложность результата зависит от того, насколько детально хочется прорабатывать схему. Например, хочется ли распознавать типы данных - или достаточно все считать стрингами. Считать ли min/max - или все повторения тупо объявлять 1-unlimited. И т.д.

Тупо подойдёт, т.е. всё можно считать string'ами, min/max не определять и т.п. Хорошо бы проверять всегда ли элемент/атрибут присутствует, чтобы решить по поводу required.

Сообщение от svu

Каранагай прав, если не углубляться в подобные мелочи, оно пишется на той же жабке довольно шустро. Разумеется, к СУБД привязывать смысла нет. На входе текстовый стрим, на выходе стрим. Unix way...

До 11-ти утра в понедельник справишься?

[vova7777]

Сообщение от tadpole

Так же подойдёт инструмент, которому на вход можно дать набор XML -файлов, по которым он сделает XML схему.

попробуйте Oxygen XML Editor
загрузите ваш XML и откройте его как XSD файл (XML Schema Definition (XSD))

[tadpole]

Сообщение от vova7777

загрузите ваш XML и откройте его как XSD файл (XML Schema Definition (XSD))

А он умеет больше одного за раз? У меня десятки и сотни тысяч документов.

[YellowMan]

OFFTOP: Ненавижу XML

А поле куда он слит - текстовое или XML типа? Может Оракл сам оттуда вытянет схему?

[tadpole]

Сообщение от YellowMan

OFFTOP: Ненавижу XML

Не, я XML люблю. Если правильно использован. А вот людей, которые допускают Java-программистов к проектированию реляционных БД, да, не очень люблю

Сообщение от YellowMan

А поле куда он слит - текстовое или XML типа? Может Оракл сам оттуда вытянет схему?

CLOB. Использовать XMLType с привязкой схем Java-программисты не догадались, к сожалению.

[magician]

Денис,
алгоритм примерно такой:

берешь первую строку за этолон и всасываешь в дом,
для каждой последующей строки сравниваешь дом с эталоном,
если в эталоне не существует - добавляешь в эталон,
как резульлтат получаешь xml содержаший все, что только возможно
ну и там рющечки всякие, типа длину сравнивать/увеличивать походу
тип & etc