Knowledge Channels. Bringing the Knowledge on the Web to Software Agents.

Full text

Page 1

BRINGING THE KNOWLEDGE ON
THE WEB TO SOFTWARE AGENTS
???
A FRAMEWORK FOR DEVELOPING SEMANTIC
WRAPPERS
JOSÉ LUIS ARJONA
UNIVERSITY OF SEVILLA
DOCTORAL DISSERTATION
ADVISED BY DR. RAFAEL CORCHUELO
DECEMBER, 2004

Page 2

First published in December 2004 by
The Distributed Group
ETSI Informática
Avda. de la Reina Mercedes s/n
Sevilla, 41012. SPAIN
Copyright c ? MMIV The Distributed Group
http://www.tdg-seville.info
contact@tdg-seville.info
In keeping with the traditional purpose of furthering science, education and research,
it is the policy of the publisher, whenever possible, to permit non-commercial use and
redistribution of the information contained in the documents whose copyright they
own. You however are not allowed to take money for the distribution or use of these
results except for a nominal charge for photocopying, sending copies, or whichever
means you use redistribute them. The results in this document have been tested care-
fully, but they are not guaranteed for any particular purpose. The publisher or the
holder of the copyright do not offer any warranties or representations, nor do they
accept any liabilities with respect to them.
Classification (ACM 1998): D.2.2 Design Tools and Techniques: Software libraries;
D.2.11 Software Architectures; H.3.5 Online Information Services: Web-based ser-
vices; I.2.4 Knowledge Representation Formalisms and Methods: Representation lan-
guages; I.2.6 Learning: Concept learning, Induction, Knowledge acquisition; I.2.11
Distributed Artificial Intelligence: Intelligent agents, Multiagent systems.
Support: Partially supported by the Spanish Ministry of Science and Technology
under grants TIC-2000-1106-C02-01, FIT-150100-2001-78, TIC2003-02737-C02-01, and
Castilla-La Mancha Local Government under grant PCB-02-001.

Page 3

UNIVERSITY OF SEVILLA
The committee in charge of evaluating the dissertation presented by
José Luis Arjona in partial fulfillment of the requirements for the degree
of Doctor of Philosophy in Computer Engineering, hereby recommends
of this dissertation and awards the author the
grade
.
Miguel Toro Bonilla
??????????? ?? ???????????
??????????????
Mario G. Piattini Velthuis
????????????????????????
????????????????
????????
Carlos Delgado Kloos
????????????????????????
????????????
??????????
Rafael Berlanga Llavori
??????? ?????????????
??????????
?
Emilio Santiago Corchado Rodríguez
????????????? ???????
????? ????????
To put record where necessary, we sign minutes in
.
,

Page 4

Page 5

Information and knowledge by Melanie, aged twelve.

Page 6

Page 7

To Sina.
She gives semantics to my life.

Page 8

Page 9

Contents
Acknowledgements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix
Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi
Resumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii
IPreface
1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1 Research context . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.1 Software agents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.2 Ontologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.3 Information and knowledge . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2 Summary of contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3 Structure of this dissertation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
II Background information
2From information to knowledge . . . . . . . . . . . . . . . . . . . . . 15
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2 Knowledge representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2.1 Formalisms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.2 Traditional languages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.3 The nowadays web . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.4 The semantic web . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

Page 10

ii
Contents
2.5 Reasoning on the semantic web . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3Extracting information from the web . . . . . . . . . . . . . . . . . 29
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.2 Characterising wrappers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.3 Common inductive wrappers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.4 Wrappers maintenance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4Extracting knowledge from the web . . . . . . . . . . . . . . . . . . 39
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.2 Common ontology extraction systems . . . . . . . . . . . . . . . . . . . . . . . . 40
4.3 Common instance extraction systems . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.4 Common knowledge base extraction systems . . . . . . . . . . . . . . . . . 44
4.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5Web services . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.2 Nowadays web services . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.3 Semantic web services . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
III Our approach
6 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
6.2 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
6.3 Analysis of current solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
6.3.1 The semantic web . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
6.3.2 Inductive wrappers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
6.3.3 Ad-hoc solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
6.3.4 Web knowledge extraction systems . . . . . . . . . . . . . . . . . . . . 59
6.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
7The WebMeaning framework . . . . . . . . . . . . . . . . . . . . . . . . 63
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

Page 11

Contents iii
7.2 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
7.2.1 Web pages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
7.2.2 Output format of syntactic wrappers . . . . . . . . . . . . . . . . . . . 66
7.2.3 Assertions about individuals . . . . . . . . . . . . . . . . . . . . . . . . . . 67
7.2.4 Result of the knowledge extraction process . . . . . . . . . . . . . . 70
7.3 Core definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
7.3.1 Syntactic wrappers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
7.3.2 Syntactic verifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
7.3.3 Semantic translators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
7.3.4 Semantic verifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
7.3.5 Bringing it all together . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
7.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
8Semantic translation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
8.2 Problem definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
8.3 A representation for individuals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
8.4 Semantic descriptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
8.4.1 Cardinality constraints on properties . . . . . . . . . . . . . . . . . . . 81
8.4.2 Semantics of a semantic description . . . . . . . . . . . . . . . . . . . . 81
8.5 Building semantic descriptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
8.5.1 Collapsable vertices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
8.5.2 Collapsable paths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
8.5.3 Collapsing individual trees . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
8.6 Relating information and semantic descriptions . . . . . . . . . . . . . . . 89
8.6.1 Influence areas and mirrored influence areas . . . . . . . . . . . . 91
8.6.2 Building the location information . . . . . . . . . . . . . . . . . . . . . . 93
8.7 Semantic translators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
8.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
9 A materialisation of the semantic translation problem . . 99
9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
9.2 Building semantic descriptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
9.2.1 Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
9.2.2 Correctness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
9.2.3 Complexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
9.3 Calculating locations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
9.3.1 Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

Page 12

iv
Contents
9.3.2 Correctness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
9.3.3 Complexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
9.4 Semantic translator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
9.4.1 Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
9.4.2 Correctness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
9.4.3 Complexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
9.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
10 A proof-of-concept implementation . . . . . . . . . . . . . . . . . 121
10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
10.2 The architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
10.3 Realisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
10.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
IV Final remarks
11 Conclusions and future work . . . . . . . . . . . . . . . . . . . . . . . 129
V Appendices
A Mathematical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
A.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
A.2 Plotkin’s method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
A.3 The Tree data type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
B Equivalence between Aboxes and IndividualTrees . . . . . . 139
B.1 Building an IndividualTree from an Abox . . . . . . . . . . . . . . . . . . . . . . 140
B.2 Building an IndividualTree from an Abox . . . . . . . . . . . . . . . . . . . . . . 142
C Acronyms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

Page 13

List of Figures
1.1 Information vs. knowledge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.1 Ontological web languages evolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.1 Life cycle of an inductive wrapper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.2 Structured, semi-structured and unstructured web pages . . . . . . . . . . . 32
3.3 Life cycle of the maintenance of inductive wrappers . . . . . . . . . . . . . . . 36
5.1 The infrastructure needed to support web services . . . . . . . . . . . . . . . . . 49
5.2 The IBM web services architecture stack . . . . . . . . . . . . . . . . . . . . . . . . . . 50
6.1 Semantic web evolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
7.1 Semantic translator workflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
7.2 Sample of StructuredInformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
7.3 An ontology about eating houses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
8.1 Activities to build a semantic translator . . . . . . . . . . . . . . . . . . . . . . . . . . 77
8.2 An individual tree . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
8.3 A semantic description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
8.4 Different types of edges in a semantic description . . . . . . . . . . . . . . . . . 82
8.5 Partitioning a labelled tree into collapsable paths . . . . . . . . . . . . . . . . . . 87
8.6 The builSD function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
8.7 Areas of influence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
8.8 Mirrored areas of influence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
8.9 The translation relation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

Page 14

vi
List of Figures
9.1 Requirements for algorithm buildSD . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
9.2 Example of how buildSD works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
9.3 StructuredInformation (repetition of Figure §7.2(b)) . . . . . . . . . . . . . . . . 108
9.4 Example of how buildLoc works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
9.5 Example of how sematicTranslator works . . . . . . . . . . . . . . . . . . . 113
10.1 The WebMeaning architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
10.2 A realisation of WebMeaning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
10.3 Three distinct scenarios in WebMeaning . . . . . . . . . . . . . . . . . . . . . . . . . 126

Page 15

List of Tables
2.1 Expressiveness of most relevant ontological web languages . . . . . . . . . 23
2.2 Features of some reasoners for the semantic web . . . . . . . . . . . . . . . . . . 27
3.1 Features of some inductive wrappers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.1 Knowledge extraction proposals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
A.1 Summary of the notation used in this dissertation . . . . . . . . . . . . . . . . 134