Content uploaded by Tomas Aluja-Banet
Author content
All content in this area was uploaded by Tomas Aluja-Banet on Jul 02, 2014
Content may be subject to copyright.
Q¨
UESTII´
O,vol. 25, 3, p. 479-498, 2001
LA MINER´
IA DE DATOS,
ENTRE LA ESTAD´
ISTICA
Y LA INTELIGENCIA ARTIFICIAL
TOM `
AS ALUJA
Universitat Polit`ecnica de Catalunya
En la pasada d´
ecada hemos asistido a la irrupci´
on de un nuevo concepto
en el mundo empresarial: el «data mining»(miner´
ıa de datos). Algunas
empresas han implementado unidades de miner´
ıa de datos estrechamente
vinculados a la direcci´
on de la empresa y en los foros empresariales las
sesiones dedicadas a la miner´
ıa de datos han sido las protagonistas. La
miner´
ıa de datos se presenta como una disciplina nueva, ligada a la In-
teligencia Artificial y diferenciada de la Estad´
ıstica. Por otro lado, en el
mundo estad´
ıstico m´
as acad´
emico, la miner´
ıa de datos ha sido conside-
rada en su inicio como una moda m ´
as, aparecida despu´
es de los sistemas
expertos, conocida desde hac´
ıa tiempo bajo el nombre de «data fishing».
¿Es esto realmente as´
ı? En este art´
ıculo abordaremos las ra´
ıces estad´
ıs-
ticas de la miner´
ıa de datos, los problemas que trata, haremos una pa-
nor´
amica sobre el alcance actual de la miner´
ıa de datos, presentaremos
un ejemplo de su aplicaci´
on en el mundo de la audiencia de televisi´
on y,
por ´
ultimo, daremos una visi´
on de futuro.
Data mining, between statistics and artificial intelligence
Palabras clave: Data mining, an´alisis de datos, modelizaci´on, inteligen-
cia artificial, KDD, redes neuronales, ´arboles de decisi´on
Clasificaci´
on AMS (MSC 2000): 62-07, 68T10, 62P30
*Departamento de Estad´ıstica e Investigaci´on Operativa. Universitat Polit`ecnica de Catalunya (UPC).
E-mail: tomas.aluja@upc.es
–Recibido en abril de 2001.
–Aceptado en noviembre de 2001.
479
1. INTRODUCCI ´
ON
El almacenamiento de datos se ha convertido en una tarea rutinaria delos sistemas de in-
formaci´on de las organizaciones. Esto es a´un m´as evidente en las empresas de la nueva
econom´ıa, el e-comercio, la telefon´ıa, el marketing directo, etc. Los datos almacenados
son un tesoro para las organizaciones, es donde se guardan las interacciones pasadas
con los clientes, la contabilidad de sus procesos internos, representan la memoria de la
organizaci´on. Pero con tener memoria no es suficiente, hay que pasar a la acci´on inteli-
gente sobre los datos para extraer la informaci´on que almacenan. Este es el objetivo de
la Miner´ıa de Datos.
En primer lugar situemos la miner´ıa de datos a partir de algunas definiciones que se ha
dado sobre la misma:
Data Mining: «the process of secondary analysis of large databases aimed
at finding unsuspected relationships which are of interest or value to the
database owners»(Hand, 1998)
«Iterative process of extracting hidden predictive patterns from large data-
bases, using AI technologies as well as statistics techniques»(Mena, 1999)
La ´ultima, sin ser la definici´on m´as popular, enfatiza, sin embargo,cu´ales son las ra´ıces
de la miner´ıa de datos: la Inteligencia Artificial (en particular Machine learning) yla
Estad´ıstica.
Si buscamos a su vez definiciones de estas dos disciplinas:
Machine learning:«a branch of AI that deals with the design and applica-
tion of learning algorithms»(Mena, 1999)
Estad´ıstica: «a branch of Applied Mathematics, and may be regarded as
mathematics applied to observational data .. .Statistics may be regarded as
1. the study of populations
2. the study of variation
3. the study of methods of the reduction of data»
(Fisher, 1925)
«methodology for extracting information from data and expressing the
amount of uncertainity in decisions we make»(C. R. Rao, 1989).
Observemos que ya en 1925, Sir R. Fisher consider´o la estad´ıstica bajo tres ´opticas
diferentes, como el estudio de poblaciones, lo cual est´a en el propio origen de la disci-
plina, como el estudio de la variabilidad que permite la modelizaci´on de los fen´omenos
480
teniendo en cuenta la aleatoriedad presenteen la naturaleza y como m´etodos de s´ıntesis
de la informaci´on contenida en los datos. La definici´on m´as moderna de C. R. Rao per-
mite resaltar las coincidencias con la definici´on de miner´ıa de datos presentada m´as
arriba.
Es claro que para cualquier persona vinculada con la estad´ıstica puede hablarse de
dos tipos de estad´ıstica, una que podemos denominar Estad´ıstica Exploratoria ( Data
Analysis) y otra que podemos denominar Estad´ıstica Inferencial ( modelling).
Si bien las fronteras entre ambos tipos de estad´ıstica no siempre es f´acil de establecer,
y a menudo la primera se presenta como la fase previa de la segunda (Cox & Sne-
ll, 1982) (Rao, 1989), existe una diferencia conceptual importante entre ambos tipos
de Estad´ıstica. La Estad´ıstica Inferencial se refiere al paradigma central del quehacer
estad´ıstico, esto es, decidir entre varias hip´otesis a partir de las consecuencias obser-
vadas. Consiste en incorporar la aleatoriedaddentro de la decisi´on (ya sea en su forma
param´etrica mediante el razonamiento deductivopara delucidar la verosimilitud de cada
hip´otesis o por m´etodos computacionales).
«Data analysis»tiene un sentido muy general de estad´ıstica aplicada (con una con-
notaci´on de aproximaci´on pragm´atica e informatizada). Jean Paul Benzecri expresaba
perfectamente el esp´ıritu de este enfoque cuando afirmaba en sus cursos de 1965 que
«le mod`ele doit suivre les donn´ees et non l’inverse»(si bien «Data Analysis»es m´as
amplio que el equivalente franc´es de «analyse des donn´ees», el cual queda circunscrito
aAn´alisis Multivariante Exploratorio). En este enfoque, no se trata de no tener en cuen-
ta la naturaleza aleatoria de los datos (es obvio, por ejemplo, que cuando se seleccionan
las componentes principales «significativas»para realizar una clasificaci´on se est´a tra-
tando de eliminar la parte aleatoria de los datos), sino que primero son los datos y es
a partir de estos que se busca manifestar la informaci´on relevante para los problemas
planteados.
Se puede constatar, sin embargo, que muchos de los problemas abordados en An´alisis
de Datos son comunes con la Inteligencia Artificial. Estas dos disciplinas, como a me-
nudo sucede en el entorno acad´emico, se han desarrollado la una a espaldas de la otra,
dando lugar a nomenclaturas totalmente diferentes para problemas iguales. La Tabla 1,
elaborada por el profesor L. Lebart, muestra las equivalencias para el problema de la
predicci´on con redes neuronales.
Resumiendo mucho, podemos decir que la Inteligencia Artificial ha estado m´as preocu-
pada en ofrecer soluciones algor´ıtmicas con un coste computacional aceptable, mientras
que la Estad´ıstica se ha preocupado m´as del poder de generalizaci´on de los resultados
obtenidos, esto es, poder inferir los resultados a situaciones m´as generales que la estu-
diada.
481
Tabla 1. Equivalencias de nomenclatura entre la Estad´ıstica y la Inteligencia Artificial para el
problema de predicci´on por redes neuronales.
Inteligencia Artificial Estad´ıstica
red (network) modelo
ejemplos (patterns) observaciones, individuos
features, inputs, outputs variables
inputs variables explicativas
outputs, targets variables de respuesta
errores residuos
training, learning estimaci´on
funci´on de error, coste criterio de ajuste
pesos, coef. sin´apticos par´ametros
aprendizaje supervisado regresi´on, discriminaci´on
aprenendizaje no supervisado clasificaci´on
Como mera ilustraci´on de las aportaciones de ambas disciplinas al problema de la pre-
dicci´on, se˜nalemos los hitos hist´oricos de la regresi´on para la predicci´on de una varia-
ble continua (Galton, 1890), el an´alisis discriminante para la predicci´on de una variable
nominal (Fisher, 1937), el AID para la construcci´on de ´arboles de decisi´on (Sonquist
y Morgan, 1964), MARS (Friedman, 1991)... en Estad´ıstica, mientras que en el campo
de la Inteligencia Artificial podemos citar el perceptr´on, antecedente de las modernas
redes neuronales (Rosemblat, 1958), los sistemas expertos, secuencias de reglas «if -
then – else», para la toma de decisiones en los a˜nos setenta, los algoritmos gen´eticos
(Holland, 1970), tambi´en los ´arboles de decisi´on (Quinlan, 1986)...
1.1. Nuevos problemas
La progresiva utilizaci´on de los avances tecnol´ogicos por las empresas e instituciones
hace aparecer nuevascolectas de datos y nuevos problemas. «Development in hardwa-
re have contributed to statistics by giving us many new and interestings sorts of data to
analyse. Data have been able to be captured and stored quickly and cheaply by spectro-
meters, telescopes, process measuring devices, ... From these instruments have come
new research problems. New applications have not arisen in science alone. Hardware
changes have led to sophisticated point-of-sales terminals, bar-code readers and the abi-
lity to store and recall the huge volumes of data that are constantly being collected in
warehouses, retail stores, government departmentsand financial institutions. Attempts
to use such data to improve business performancehave led to the field of data mining»
(Cameron, 1997).
482
Un campo privilegiado de aplicaci´on de las t´ecnicas de miner´ıa de datos es el marketing,
concretamente todo aquello que se agrupa bajo el nombre de CRM (costumer relations-
hip management), donde el objetivo es conocer lo mejor posible los clientes para poder
satisfacerlos mejor y asegurar as´ı la rentabilidad de las empresas. Problemas tales como
estimar el potencial econ´omico de los clientes, modelizar la probabilidad de baja, me-
dir la satisfacci´on por el servicio, descubrir nuevos segmentos de clientes potenciales,
etc., son problemas que los responsables de la acci´on comercial de las empresas deben
afrontar.
Pero no s´olo las empresas o las instituciones son generadoras de nuevos problemas que
afrontar, otros campos cient´ıficos tambi´en generan nuevos problemas donde la miner´ıa
de datos se convierte en imprescindible, tales como las investigaciones originadas a ra´ız
del proyecto Genoma, ¿qu´e secuencias de genes motivan la aparici´on de enfermedades?,
¿lo hacen de forma determinista o en probabilidad? Tambi´en la informaci´on transmitida
por sat´elite puede proporcionar avances a fen´omenos hasta hoy dif´ıciles de explicar,
tales como la vulcanolog´ıa, los terremotos o el clima, etc. La Tierra est´a dejando de
ser el marco de referencia ´unico para serlo cada vez m´as el sistema solar, como lo
prueba la influencia que tienen las erupciones solares en las telecomunicaciones v´ıa
sat´elite. Otros campos de gran actualidad son encontrar m´etodos de predicci´on fiables,
r´apidos y baratos sobre la composici´on de los alimentos a partir del an´alisis del espectro
infrarrojo de estos alimentos u otros an´alisis qu´ımicos.
Todo esto comporta la necesidad de tratar tablas de datos complejosy de tama˜no inima-
ginable hasta ahora. Esta situaci´on es nueva para el estad´ıstico y bastante alejada de la
cl´asica muestra aleatoria de observaciones independientes formada por algunas decenas
de variables y unos cuantos millares de individuos.Tal como se˜nala D. Hand (1998),
ahora los datos son «secondary, messy, with many missings, noisy and not represen-
tative». Esto supone un reto para la estad´ıstica que obligar´a a repensar los esquemas
cl´asicos de la inferencia estad´ıstica y de significaci´on de los resultados observados. Si
bien el nivel de significaci´on fisheriano continua siendo v´alido para detectar la discre-
pancia entre los datos observados y la hip´otesis formulada, es obvio que el orden de
magnitud de los «p-value»es ahora muy inferior al acostumbrado. Tambi´en es claro
que en este contexto cobran renovada importancia los m´etodos de inducci´on computa-
cionales, de simulaci´on por Monte Carlo, bootstrap, etc.
2. ¿QU´
E PROBLEMAS ABORDA LA MINER´
IA DE DATOS?
Cualquier problema para el que existan datos hist´oricos almacenados es un problema
susceptible de ser tratado mediante t´ecnicas de Miner´ıa de Datos. Sin pretender ser
exhaustivosla siguiente es una lista ilustrativa:
483
B´
usqueda de lo inesperado por descripci ´
on de la realidad multivariante. Un principio
cl´asico de la Estad´ıstica, el principio de la parsimonia, ya no es ahora v´alido (si bien
siempre ser´an preferibles los modelos simples). Para describir un fen´omeno cuantas
m´as variables tengamos mejor, m´as ricas, m´as globales y m´as coherentes ser´an las
descripciones y m´as f´acil ser´a detectar lo inesperado, esto es, aquello que no hab´ıamos
previsto y que resulta valioso para entender mejor el comportamiento de alg´un grupo
de individuos, lo cual se ve favorecido por el hecho de trabajar con muestras grandes.
Las muestras aleatorias son suficientes para describir la regularidad estad´ıstica global,
pero no para detectar comportamientos particulares de subgrupos.
B´
usqueda de asociaciones. Un cierto suceso, ¿est´a asociado a otro suceso?, ¿podemos
inferir que determinados sucesos ocurren simultaneamente m´as de lo que seria espe-
rable si fuesen independientes?, ¿es posible sugerir un producto, sabiendo que otro ha
sido adquirido?
Definici´
on de tipolog´
ıas. Los consumidores son, a efectos pr´acticos, infinitos, pero los
tipos de consumidores distintos son un n´umero mucho m´as peque˜no. Detectar estos
tipos distintos, su perfil de compra y proyectarlos sobre toda la poblaci´on, es una ope-
raci´on imprescindible a la hora de programar una pol´ıtica de marketing. Por otro lado,
las tipolog´ıas no tienen que ser necesariamente de consumo, pueden ser de opiniones,
valores, condiciones de vida, etc.
Detecci´
on de ciclos temporales. Todo consumidor sigue un ciclo de necesidades que
ocasionan actos de compra distintos a lo largode su vida. Detectar los diferentes ciclos
y la fase donde se sit´ua cada consumidor ayudar´a a crear complicidades y adecuar la
oferta de productos a las necesidades y crear fidelizaci´on.
Predicci´
on. A menudo deberemos efectuar predicciones: ¿cu´al es la probabilidad de
baja de un cliente?, ¿cu´al es el precio de una vivienda concreta?, ¿llover´ama˜nana? Es-
tas y muchas m´as son preguntas que deberemos responder, para ello construiremos un
modelo a partir de los datos hist´oricos. Si la variable de respuesta es continua (p. e.
la rentabilidad de un cliente) diremos que se trata de un problema de regresi´on, mien-
tras que si la variable de respuesta es categ´orica (p. e. la compra o no de un producto)
diremos que se trata de un problema de clasificaci´on.
3. LAS T´
ECNICAS
En general, cualquiera que sea el problema a resolver, no existe una ´unica t´ecnica pa-
ra solucionarlo, sino que puede ser abordado siguiendo aproximaciones distintas. El
n´umero de t´ecnicas es muy grande y s´olo puede crecer en el futuro. Tambi´en aqu´ı, sin
pretender ser exhaustivos, la siguiente es una lista de t´ecnicas con una breve rese˜na.
484
An´
alisis Factoriales Descriptivos. Permiten hacer visualizaciones de realidades mul-
tivariantes complejas y, por ende, manifestar las regularidades estad´ısticas, as´ı como
eventuales discrepancias respecto de aquella y sugerir hip´otesis de explicaci´on.
«Market Basket Analysis»oan´alisis de la cesta de la compra. Permite detectar qu´e pro-
ductos se adquieren conjuntamente, permite incorporar variables t´ecnicas que ayudan
en la interpretaci´on, como el d´ıa de la semana, localizaci´on, forma de pago. Tambi´en
puede aplicarse en contextos diferentes del de las grandes superficies, en particular el
e-comercio, e incorporarel factor temporal.
T´
ecnicas de «clustering». Son t´ecnicas que parten de una medida de proximidad entre
individuos y a partir de ah´ı, buscar los grupos de individuos m´as parecidos entre s´ı,
seg´un una serie de variables mesuradas.
Series Temporales. A partir de la serie de comportamiento hist´orica, permite modelizar
las componentes b´asicas de la serie, tendencia, ciclo y estacionalidad y as´ı poder hacer
predicciones para el futuro, tales como cifra de ventas, previsi´on de consumo de un
producto o servicio, etc.
Redes bayesianas. Consiste en representar todos los posibles sucesos en que estamos
interesados mediante un grafo de probabilidades condicionales de transici´on entre su-
cesos. Puede codificarse a partir del conocimiento de un experto o puedeser inferido a
partir de los datos. Permite establecer relaciones causales y efectuar predicciones.
Modelos Lineales Generalizados. Son modelos que permiten tratar diferentes tipos de
variables de respuesta, por ejemplo la preferencia entre productos concurrentes en el
mercado. Al mismo tiempo, los modelos estad´ısticos se enriquecen cada vez m´as y
se hacen m´as flexibles y adaptativos, permitiendo abordar problemas cada vez m´as
complejos: (GAM, Projection Pursuit, PLS, MARS, ...).
Previsi´
on local. La idea de base es que individuos parecidos tendr´an comportamientos
similares respecto de una cierta variable de respuesta. La t´ecnica consiste en situar los
individuos en un espacio eucl´ıdeo y hacer predicciones de su comportamiento a partir
del comportamiento observadoen sus vecinos.
Redes neuronales. Inspiradas en el modelo biol´ogico, son generalizaciones de modelos
estad´ısticos cl´asicos. Su novedad radica en el aprendizaje secuencial, el hecho de uti-
lizar transformaciones de las variables originales para la predicci´on y la no linealidad
del modelo. Permite aprender en contextos dif´ıciles, sin precisar la formulaci´on de un
modelo concreto. Su principal inconveniente es que para el usuario son una caja negra.
´
Arboles de decisi´
on. Permiten obtener de forma visual las reglas de decisi´on bajo las
cuales operan los consumidores, a partirde datos hist´oricos almacenados. Su principal
ventaja es la facilidad de interpretaci´on.
485
Algoritmos gen´
eticos. Tambi´en aqu´ı se simula el modelo biol´ogico de la evoluci´on de
las especies, s´olo que a una velocidadinfinitamente mayor. Es una t´ecnica muy prome-
tedora. En principio cualquier problema que se plantee, como la optimizaci´on de una
combinaci´on entre distintas componentes, estandoestas componentes sujetas a restric-
ciones, puede resolverse mediante algoritmos gen´eticos.
Un enriquecimiento de las posibilidades de an´alisis son los sistemas h´ıbridos, esto es, la
combinaci´on de dos o m´as t´ecnicas para mejorar la eficiencia en la resoluci ´on de un pro-
blema, como por ejemplo, utilizar un algoritmo gen´etico para inicializar una red neuro-
nal, o bien utilizar un ´arbol decisi´on como variable de entradaen una regresi´on log´ıstica.
En el futuro, el campo de actuaci´on de la miner´ıa de datos no puede sino crecer. En
particular debemos mencionar en estos momentos el an´alisis de datos recibidos por in-
ternet y «on line», dando lugar al web mining, donde las t´ecnicas de data mining se
utilizan para optimizar las interacciones a trav´es de la web. ¿Cu´ales son las secuencias
de p´aginas m´as visitadas?, ¿qu´ep´aginas visitan los que compran?, ¿los que compran,
vuelven a conectarse?, ¿cuales son las «killer pages»?, ¿una vez efectuada una adquisi-
ci´on, qu´e productos puedo sugerir?, son algunas de las preguntas que los responsables
de comercio electr´onico de las empresas se est´an formulando en estos momentos.
Tambi´en los datos objeto de an´alisis pueden ser textos, dando lugar al text mining. Esto
es particularmente ´util en el an´alisis de las encuestas de satisfacci´on percibida por los
usuarios. La utilizaci´on de las frases realmente escritas supone un enriquecimiento de
los an´alisis realizados s´olo con informaci´on num´erica. Tambi´en la utilizaci´on del text
mining para la s´ıntesis y la presentaci´on de la informaci´on encontrada en la web es
un campo actual de investigaci´on. M´as a largo plazo podr´an utilizarse la voz o las
im´agenes.
Otra de las nuevas v´ıas de investigaci´on es el fuzzy mining, esto es, la utilizaci´on de
las t´ecnicas de miner´ıa de datos con objetos simb´olicos, que representen m´as fidedig-
namente la incertidumbre que se tiene de los objetos que se estudian.
La tendencia actual m´as prometedora ser´ıa la de integrar los dos puntos de vista, pro-
vinientes de la estad´ıstica y de la Inteligencia Artificial, en las soluciones algor´ıtmicas
propuestas, de forma de aprovechar los puntos fuertes de ambas disciplinas. En conse-
cuencia los algoritmos deber´ıan contemplar las dos siguientes propiedades b´asicas:
Poder de generalizaci´
on a poblaciones diferentes de la observada.Lo cual implica im-
plementar t´ecnicas eficientes de validaci´on de resultados, ya sea a partir del conoci-
miento de la distribuci´on muestral de los estad´ısticos del modelo o por m´etodos com-
putacionales como la validaci´on cruzada, etc.
Escalabilidad. Dado el volumen de datos a tratar, el coste de los algoritmos ha de ser
todo lo lineal que sea posible respecto de los par´ametros que definen el coste, en parti-
cular respecto del n´umero de individuos.
486
4. COMPARACI ´
ON DE T´
ECNICAS
Una pregunta que nos podemos formular es cu´al es el mejor m´etodo para resolver
un problema. La experiencia nos muestra que excepto ciertos problemas espec´ıficos
y dif´ıciles, la mayor´ıa de problemasabordados en miner´ıa de datos dan resultados com-
parables cualquiera que sea la t´ecnica utilizada. Hemos realizado una prueba con un
fichero de 4000 individuos y 15 variables para explicar dos variables de respuesta sobre
la adquisici´on de un cierto producto, el primero es un producto que podr´ıamos calificar
de relativamente «f´acil»de predecir, mientras que el segundo es claramente m´as dif´ıcil.
Hemos efectuado la predicci´on de ambas variables mediante 4 t´ecnicas alternativas:
An´alisis Discriminante
Redes neuronales
´
Arboles de decisi´on
Regresi´on Log´ıstica
Para medir la calidad de la predicci´on por cada m´etodo, hemos seleccionado al azar
4 muestras de 1000 individuos cada una como muestras de aprendizaje, utilizando los
3000 restantes como muestra de validaci´on. Para cada m´etodo hemos realizado 3 ejecu-
ciones cambiando ligeramente los par´ametros del modelo. Por tanto, en total dispone-
mos de 12 ejecuciones por m´etodo. Tomando el promedio de la probabilidad de acierto
en las muestras de aprendizaje y en las de validaci´on obtenemos los resultados que se
muestran en la Tabla 2:
Tabla 2. Comparaci´on de la probabilidad de acierto seg´un 4 m´etodos de predicci´on.
Problema 1 Apren. Test
An´alisis Discriminante 71.13% 69.71%
Redes Neuronales 71.63% 69.12%
´
Arboles de Clasificaci´on 72.94% 70.31%
Regresi´on log´ıstica 74.18% 71.33%
Problema 2 Apren. Test
An´alisis Discriminante 62.18% 61.39%
Redes Neuronales 62.29% 60.19%
´
Arboles de Clasificaci´on 62.70% 61.03%
Regresi´on log´ıstica 65.28% 59.36%
487
Observando los resultados vemos que las probabilidades de acierto en la muestra de
validaci´on son bastante parecidas para los cuatro tipos de modelos utilizados.
5. EJEMPLO DE APLICACI ´
ON. DEFINICI ´
ON DE TARGETS
COMPORTAMENTALES DE CONSUMO TELEVISIVO
Las innovaciones tecnol´ogicas en el mundo audiovisual, producen el almacenamiento
de una cantidad ingente de datos. El an´alisis de estos datos permite una mejora en la
toma de decisiones por parte de las organizaciones implicadas.
En audiometr´ıa se dispone de informaci´on minuto a minuto de la audiencia realizada
por un panel de familias. Estas observaciones pasan por un proceso de validaci´on y
enriquecimiento a partir de los datos sociodemogr´aficos disponibles sobre los panelistas
y por el minutado de programas y spots. Posteriormente, la muestra obtenida se afecta
con un factor de elevaci´on para obtener datos a nivel poblacional.
El problema planteado es el de definir targets compuestos explicativos del consumo
de programas del g´enero «Revistas del coraz´on», el cual ha experimentado un notable
aumento en los ´ultimos a˜nos en la programaci´on televisiva.
Los datos analizados han sido todos los programas de este g´enero emitidos durante
el a˜no 1997. La variable de respuesta ha sido los minutos semanales de visi´on de los
programas de tipo rosa, en las cadenas estatales y para todos los individuos mayores de
3a˜nos. Las variables explicativas son todas las sociodemogr´aficas.
En el a˜no 1997 se realizaron un total de 707 emisiones para este tipo de programas con
una audiencia promedio de 32 minutos semanales por individuo.
El inter´es del problema planteado es claro, tanto para las propias Televisiones y Produc-
toras, como t´ecnica alternativa para definir targets afines a cualquier programa, como
para las empresas de publicidad, anunciantes, agencias o centrales, al poder efectuar un
«matching»entre los targets de consumo televisivo con el target consumidor del pro-
ducto anunciado y as´ı poder ser introducido en un sistema de «media-planing»para la
compra de publicidad.
Cl´asicamente, este problema se soluciona mediante t´ecnicas estad´ısticas simples, co-
mo es la distribuci´on por variable o an´alisis de perfiles simples. La simplicidad de esta
t´ecnica es su principal ventaja. As´ı, por ejemplo, en el histograma de la Figura 1, mos-
trando el perfil de la audiencia de dibujos animados respecto de la edad, es clara la
preferencia del segmento de ni˜nos (4 a 15 a˜nos) de este tipo de programas, pero tam-
bi´en se observa una cierta afinidad con el segmento de personas jubiladas (m´as de 65
a˜nos). El histograma no revela si esta afinidad es propia del segmento o es debida a la
presencia de ni˜nos en el hogar.
488
0
20
40
60
80
100
4 a 15
16 a 24
25 a 29
30 a 44
45 a 64
65 o +
Figura 1. Perfil de audiencia de dibujos animados seg´un la edad.
Una forma de obtenci´on directa de targets compuestos del consumo televisivo de los
programas rosa, es la utilizaci´on de ´arboles de decisi´on para explicar la audiencia de
este tipo de programas. Escogemos esta metodolog´ıa por su aplicabilidad inmediata
de los resultados obtenidos. Estos resultados se obtienen de forma visual. La Figura 2
esquematiza el proceso de Miner´ıa de Datos en audiometr´ıa.
Figura 2. Sistema de KDD en audiometr´ıa.
El proceso de generaci´on de un ´arbol es un proceso iterativo. Empieza situando toda
la muestra disponible en el nodo ra´ız, a partir del cual, por sucesivas particiones, se
obtienen las ramas del ´arbol hasta los nodos terminales u hojas, formadas por conjuntos
de individuos que han visto un n´umero similar de minutos los programas rosa.
489
Figura 3. Ejemplo de ´arbol de decisi´on.
El algoritmo de construcci´on de un ´arbol de decisi´on implementa el siguiente bucle:
Hacer para cada nodo:
1. Verificar el criterio de parada del procesoen el nodo.
2. Definir la lista de todas las particiones posibles del nodo.
3. Seleccionar la partici ´on ´optima.
4. Generar la partici ´on seleccionada.
La Figura 3 ilustra las primeras particiones del ´arbol generado.
El ´arbol obtenido ilustra bien el proceso seguido, cada nodo da el n´umero de individuos
que contiene y el promedio de audiencia de estos individuos en los programasrosa.La
obtenci´on visual de los resultados permite a su vez su cr´ıtica, en efecto, la programaci´on
ofrecida por cada cadena condiciona la visi´on que puede hacerse de sus programas.
Existen varios algoritmos para la construcci´on de ´arboles de decisi´on: AID, CHAID,
CART, C4.5. La diferencia b´asica es, aparte del hecho de que los ´arboles generados
sean binarios o n-arios, la definici´on de la partici´on ´optima de un nodo. Ciertamente
seleccionar la partici´on ´optima implica previamente definir un criterio de optimalidad.
Nosotros expresamos el criterio a optimizar en funci´on de la pureza del nodo it, defi-
nida por la siguiente f´ormula:
it∑
i twit δi mt
∑
i twit
490
Funci´on de los pesos de los individuos wit del nodoy de las distancias de estos indivi-
duos al representante del nodo mt.
m
δ1
δ1
δ2
δ2
δ3
δ3
e11 0 0
e2010
e3001
Para el caso de variables de respuesta continuas y utilizando la m´etrica eucl´ıdea (norma
L2), la f´ormula anterior se reduce a la conocida f´ormula de la variancia de la variable
de respuesta (yi) en el nodo:
it∑
i t yi¯yt2
nt
En este caso es obvio que efectuar una partici´on de un nodo implica descomponer la
variancia total (VT) del nodo original en dos componentes, una es la variancia intra (Vw)
y la otra es la varianciainter (Vb):
VTVbVw
Por tanto, maximizar la pureza de los nodos hijos implica minimizar Vwy por consi-
guiente maximizar Vb, esto es, encontrar dos nodos con la diferencia de medias lo m´as
significativa posible (teorema de Huyghens).
El otro criterio a verificar en cada nodo es el criterio de parada, ya que en caso contra-
rio podemos hacer crecer un ´arbol hasta que todos los nodos sean puros o contengan
un solo individuo. Es evidente que entonces habr´ıamos sobreparametrizado el ´arbol.
Cuanto m´as avanzamos en la construcci´on del ´arbol, menos fiables son las particiones
que se obtienen. Una manera de evitar esto es utilizar una t´ecnica de validaci´on como
criterio de parada. Cuando se produzcan diferencias significativas entre la muestra de
aprendizaje y la de validaci´on, significa que las particiones no son estables.
La figura 5 muestra la calidad del ´arbol en funci´on de su tama˜no. En la muestra de
aprendizaje esta medida es siempre mon´otona creciente, mientras que en la muestra de
491
Figura 5. Calidad de un ´arbol en funci´on de su tama˜no.
validaci´on, a partir de un cierto tama˜no se estabiliza y puede llegar a decrecer, indicando
que las particiones efectuadas m´as all´a de este nivel son producto del azar.
6. CONCLUSIONES
La experiencia pr´actica muestra claramente la aptitud delas t´ecnicas de miner´ıa de datos
para resolver problemas empresariales. Tambi´en es clara su aportaci´on para resolver
problemas cient´ıficos que impliquen el tratamiento de grandes cantidades de datos.
La miner´ıa de datos es, en realidad, una prolongaci´on de una pr´actica estad´ıstica de lar-
ga tradici´on, la de An´alisis de Datos. Existe, adem´as, una aportaci´on propia de t´ecnicas
espec´ıficas de Inteligencia Artificial, en particular sobre la integraci´on de los algorit-
mos, la automatizaci´on del proceso y la optimizaci´on del coste.
A diferencia de la IA, que es una ciencia joven,en Estad´ıstica se viene aprendiendode
los datos desde hace m´as de un siglo, la diferencia consiste que ahora existe la potencia
de c´alculo suficiente para tratar ficheros de datos de forma masiva y autom´atica. Esta
es una realidad que cada vez ser´am´as habitual. Sin abandonar ninguno de los campos
previamente abordados, la Estad´ıstica ha evolucionado de ocuparse de la contabilidad
de los estados a ser la metodolog´ıa cient´ıfica de las ciencias experimentales, hasta ser un
«problem solver»para las organizaciones modernas. Es por esta raz´on el ´enfasis dado
a que los resultados sean accionables.
Por otro lado y en relaci´on a la amplia panoplia de t´ecnicas disponibles, conviene tener
claro de que no existe la t´ecnica m´as inteligente, sino formas inteligentes de utilizar
una t´ecnica y que cada uno utiliza de forma inteligente aquello que conoce. Tambi´en
que para la mayor´ıa de problemas no existen diferencias significativas en los resultados
obtenidos.
492
Por todo lo dicho, es nuestra opini´on de que la miner´ıa de datos no es una moda pasajera,
sino que se entronca en una vieja tradici´on estad´ıstica y que cada vez m´as debe servir
para hacer m´as eficiente el funcionamiento de las organizaciones modernas, ayudar a
resolver problemas cient´ıficos y ampliar los horizontes de la Estad´ıstica.
7. BIBLIOGRAF´
IA
Adriaans, P. & Zantige, D. (1996). Data mining. Addison-Wesley.
Aluja, T. & Morineau, A. (1999). Aprender de los datos: el an ´
alisis de componentes
principales, una aproximaci´
on desde el data mining. EUB. Barcelona.
Aluja, T. & Nafria, E. (1996). «Automatic segmentation by decision trees».Procee-
dings on Computational Statistics COMPSTAT 1996, ed. A. Prat. Physica Verlag.
Aluja, T. & Nafria, E. (1998a). «Robust impurity measures in Decision Trees».Data
Science, Classification and related methods, ed. C. Hayashi, N. Ohsumi, K. Yaji-
ma, Y. Tanaka,H-H. Bock and Y. Baba. Springer.
Aluja, T. & Nafria, E. (1998b). «Generalised impuritymeasures and data diagnosticsin
decision trees».Visualising Categorical Data, ed. J¨org Blasius and M. Greenacre.
Academic Press.
Aluja, T. (2000). «Los nuevos retos de la estad´ıstica, el Data Mining».Investigaci ´
on y
Marketing, 68, 3, 34-38. AEDEMO.
Benz´ecri, J.-P. & coll. (1973). La Taxinomie, Vol. I, L’Analyse des Correspondances,
Vol. II, Dunod, Paris.
Berry,M. J. A. & Linoff, G. (1997). Data mining techniques for marketing, sales and
customer support. J. Wiley.
Beveridge, W. H. (1944). Full employed in a free society. George Allen and Unwin.
Bishop, C. M. (1995). Neural Networks for Pattern Recognition, Oxford: Oxford Uni-
versity Press.
Booker,L. B., Goldberg, D. E. & Holland, J. H. (1989). Classifier systems and genetic
algorithms. Springer-Verlag.
Breiman, L., Friedman, J. H., Olshen, R. A. and Stone, C. J. (1984). Classification and
Regression Trees. Waldsworth International Group, Belmont, California.
Cameron, M. (1997). «Current influences of Computing on Statistics».International
Statistical Review, 65, 3, 277-280.
Celeux, G. (Ed.) (1990). Analyse discriminante sur variables continues, coll. didacti-
que, INRIA.
Celeux, G. & Lechevallier, Y. (1982). «M´ethodes de Segmentation non Param´etri-
ques».Revue de Statistique Appliqu´
ee, XXX(4), 39-53.
493
Celeux, G. & Nakache, J. P. (1994). Analyse discriminante sur variables qualitatives.
Polytechnica.
Ciampi, A. (1991). «Generalized Regression Trees».Computational Statistics and Da-
ta Analysis, 12, 57-78. North Holland.
Cox, D. R. & Snell, E. J.(1982). AppliedStatistics. Principles andExamples. Chapman
and Hall.
Elder, J. F. & Pregibon,D. (1996). «A statistical perspective on Knowledge Discovery
in Databases».Advances in Knowledge Discovery and Data Mining, 83-116. AAAI
Press.
Fayad, U. M.,Piatetsky-Shapiro, G. & Smuth, P. (1996). «From Data Mining to Know-
ledge Discovery: an overview».Advances in Knowledge Discovery and Data Mi-
ning, 1-36. AAAI Press.
Fisher, R. A. (1925). Statistical Methods, Experimental Design and Scientific Inferen-
ce. Oxford Science Publications.
Friedman, J. H. (1991). «Multiple Adaptative Regression Splines».Annals of Statis-
tics 19, 1-141.
Goldberg, D. E. (1989). Genetic Algorithms in Search, Optimization andMachine Lear-
ning. Addison Wesley.
Greenacre, M. (1984). Theory and Application of Correspondence Analysis. Academic
Press.
Gueguen, A. & Nakache,J. P.(1988). «M´ethode de discrimination bas´ee sur la cons-
truction d’un arbre de d´ecision binaire».Revue de Statistique Appliqu ´
ee, XXXVI
(1), 19-38.
Hand, D. J. (1997). Construction and Assessment of Classification Rules. J. Wiley.
Hand, D. J. (1998). «Data Mining: Statistics and more?».The American Statistician,
52, 2, 112-118.
Hand, D., Mannila, H. & Smyth, P.(2001). Principles of Data Mining. The MIT Press.
Hastie, T. & Tibshirani, R. (1990). Generalized Additive Models, Chapman & Hall.
Hastie, T., Tibshirani, R. & Friedman, J. (2001). The Elements of Statistical Learning:
Data Mining, Inference and Prediction. Springer.
Kass, G. V. (1980). «An Exploratory Technique for Investigating Large Quantities of
Categorical Data».Applied Statistics, 29, 2, 119-127.
Lebart, L., Morineau, A. & Piron, M. (1995). Statistique exploratoire multidimension-
nelle, Dunod, Paris.
Lebart, L., Salem, A. & Berry, E. (1998). Exploring Textual Data, Kluwer, Boston.
Lebart, L. (1998). «Correspondence Analysis, Discrimination and Neural Networks».
Data Science, Classification and related methods, ed. C. Hayashi, N. Ohsumi, K.
Yajima, Y. Tanaka, H-H. Bock and Y. Baba. Springer.
494
Lef´ebure, R. & Venturi, G. (1998). Le data mining. Eyrolles.
McCullagh, P. & Nelder, J. A. (1986). Generalized Linear Models. Chapman and Hall.
Mena, J. (1999). Data Mining your website. Digital Press.
Mola, F. & Siciliano, R. (1992). «A two-stage predictive splitting algorithm in binary
segmentation».Computational Statistics, 1. Y. Dodge and J. Whittaker ed. Physica
Verlag.
Murthy, S. K. (1998). «Automatic Construction of Decision Trees from Data: A Multi-
Disciplinary Survey».Data Mining and Knowledge Discovery, 2, 345-389.
Quinlan, J. (1988). C4.5: Programs for machine learning. Morgan Kaufman.
Rao, C. R. (1989). Statistics and Truth. CSIR, New Delhi.
Ripley, B. D. (1996). Neural Networks and pattern recognition. Wiley, New York.
Sarle, W. S. (1994). «Neural Networks and Statistical Models».Proc. 9th. Annual SAS
Users Group International Conference. SAS Institute.
Sonquist, J. A. & Morgan,J. N. (1964). The Detection of Interaction Effects. Ann Ar-
bor: Institute for Social Research. University of Michigan.
495
ENGLISH SUMMARY
DATA MINING,
BETWEEN STATISTICS AND
ARTIFICIAL INTELLIGENCE
TOM `
AS ALUJA
Universitat Polit`ecnica de Catalunya
In the last decade a new concept had raised in the entrepreneurial side: da-
ta mining. Some companies have created data mining units directly linked
to the CRM direction and in the professional forums data mining sessions
have gained appeal. Data mining has appeared as a new discipline lin-
ked to Machine Learning, Artificial Intelligence and Data Bases, clearly
differentiated from Statistics. On the other side, on the well-established
statistics academia, data mining has been seen as the last fashion of a
bad-known trend of data fishing and data dredging.
Is it really so? In this paper we will focus on the statistical roots of data
mining, we will try to make and overview of the actual scope of data mi-
ning, we will present an application in the TV audience measure and we
give some insights for the next future.
Keywords: Data mining, data analysis, modelling, artificial intelligence,
KDD, neural networks, decision trees
AMS Classification (MSC 2000): 62-07, 68T10, 62P30
*Department of Statistics and Operations Research. Technological University of Catalonia (UPC).
E-mail: tomas.aluja@upc.es
–Received April 2001.
–Accepted November 2001.
496
Statistics had risen in the beginning of XX century as a response to problems of so-
ciety. Problems like defining a optimum fertiliser, the optimal conditions of production
in an industry or assessing the effect of a drug, etc. Innovation always occurred due to
stated problems. Anyway, we shall agree that statistics has been manipulating data for
a most part of XX century without having a real computerdevice. Also a certain style
of statistics installed in academia favoured a theoretical concept of the discipline. No-
wadays, developmentin hardware have contributedto new and interesting sorts of data
to analyse, which statistics should face. One of this problem is to come into knowledge
the information hidden in the stored data by the information systems put in work for
companies in the last two decades, coming up what is called the field of «data mining».
It is no question to analyse small data files, but gigas or terabytes of data, with a precise
goal, to take a managerial decision. This caused the appearance of data mining units in
firms and its increasing interest in scientific meetings which devoted sessions to data
mining. Anyway, data mining appeared linked to Artificial Intelligence, mainly machi-
ne learning, disciplines. Whereas it was consideredby statisticians as a new version of
the bad-known «data fishing»or «data dredging». It is really so?. I will establish that
data mining stems from an old statistics tradition. In fact statistics lump together what
can be called «data analysis»and «inferential statistics», the first being the first phase
for the second (Cox, 1982, Rao, 1989). The difference between both approaches was
wisely stated by Benzecry in his courses of 1964, «data is first, then follows the model»,
whereas for the «inferential»approach it is just the opposite. This is a sound difference,
but it is clear that new problems arise, from the retail bar-code readers, transactions
with a banking card, calls from a mobile telephone, or from the genome project, or
satellite data, etc. This data very often is, as D. Hand (1998) pointed out, very large
(huge), secondary, messy, with many missings, noisy and not representative. But it is
absolute clear that statistics could play a central role for handling their associated un-
certainty. These problems constitute a challenge for statisticians, pushing them to think
again statistics, in particular the central issue of the tests of significance, and also to
establish bridges of co-operation with our competitors of Artificial Intelligence, taking
advantage of the strongness of both disciplines. Scientific disciplines, splitted in locked
knowledge areas, have been developing isolated ones from others, leading to apparent
different disciplines for the same problems. Here we show this applied to the case of
Statistics and Artificial Intelligence, following the L. Lebart theory of two languages.
Finally we present a data mining application to the problem of finding good targets
for TV program audience using decision trees. Decision trees, although they are not
within the best classifier performers, like neural networks, generalised linear models,
support vector machines, etc. have the appeal of being directly actionable, which in
practice can overcome its shortcoming. Also for not very complex problems there is
very little difference among different methods, making trees very useful for managerial
applications. We follow the previously presented methodology (Aluja et al, 1998b)of
building stable trees taking into account the individual contribution to impurity whithin
the CART framework of tree building (Breiman et al, 1984).
497
Finally a point of humility from lord William Beveridge (1940) in this starving for
knowledge:
«Nobody believes a theory, except the one that has formulated it.
Everybody believes a figure, except the one who has calculated it».
498
