Conference PaperPDF Available

Desafíos de la aplicación de técnicas de aprendizaje automático: soporte a la fijación de objetivos

  • April 2019
  • Conference: III Jornadas Conde de Gazola
  • At: Madrid, Spain
Authors:
Jorge Maestre Vidal at Indra
Jorge Maestre Vidal
Download full-text PDF
Read full-text
Download citation

Abstract

En los últimos años, la adaptación de soluciones tecnológicas basadas en Inteligencia Artificial se ha convertido en un elemento disruptivo en tecnologías asociadas a sectores como el financiero, comunicaciones o transporte. Estos avances permiten el desarrollo de automatismos que también han demostrado jugar un papel esencial en las tecnologías emergentes para la defensa, donde se espera que la implementación de capacidades de aprendizaje automático mejore la fiabilidad, el tiempo de respuesta y la efectividad de gran parte de las soluciones existentes. Este estudio se centra en revisar su impacto en los procesos más sensibles del Ciclo de Targeting Conjunto, donde la correcta incorporación de automatismos basados en aprendizaje automático va de la mano de nuevos desafíos, como la deshumanización del desarrollo del objetivo o su descontextualización; siendo necesaria su consideración a la hora de reducir la probabilidad de fuego amigo, daño colateral o tomas de decisiones que afecten a otros Cursos de Acción (CoAs).
Content uploaded by Jorge Maestre Vidal
Author content
All content in this area was uploaded by Jorge Maestre Vidal on Aug 16, 2019
Content may be subject to copyright.
Desafíos de la aplicación de técnicas de aprendizaje
automático: Soporte a la fijación de objetivos
Resumen- En los últimos años, la adaptación de soluciones
tecnológicas basadas en Inteligencia Artificial se ha convertido en
un elemento disruptivo en tecnologías asociadas a sectores como el
financiero, comunicaciones o transporte. Estos avances permiten el
desarrollo de automatismos que también han demostrado jugar un
papel esencial en las tecnologías emergentes para la defensa, donde
se espera que la implementación de capacidades de aprendizaje
automático mejore la fiabilidad, el tiempo de respuesta y la
efectividad de gran parte de las soluciones existentes. Este estudio
se centra en revisar su impacto en los procesos más sensibles del
Ciclo de Targeting Conjunto, donde la correcta incorporación de
automatismos basados en aprendizaje automático va de la mano de
nuevos desafíos, como la deshumanización del desarrollo del
objetivo o su descontextualización; siendo necesaria su
consideración a la hora de reducir la probabilidad de fuego amigo,
daño colateral o tomas de decisiones que afecten a otros Cursos de
Acción (CoAs).
Palabras clave- Aprendizaje Automático, Artillería, Desarrollo
de Objetivos, Fijación de Objetivos, Targeting.
I. INTRODUCCIÓN
La evolución de la Inteligencia Artificial en los últimos 50
años ha resultado uno de los elementos de transformación y
disrupción tecnológica más relevantes en la historia de la
humanidad, habiendo renovado la manera de plantear
soluciones para sectores tan importantes como la educación,
el transporte o las finanzas [1]. En los últimos años, las
diferentes organizaciones militares han comenzado a adaptar
parte de estas soluciones a sus plataformas defensivas,
jugando un papel esencial en aspectos tan relevantes como la
adquisición de consciencia situacional, toma de decisiones o
planificación de los mejores cursos de acción. La Inteligencia
Artificial también está suponiendo un avance fundamental en
los sistemas de artillería de nueva generación, facilitando la
automatización de tareas y la comprensión del entorno
operacional, alcanzándose así mayor eficiencia y precisión, y
mejorándose las capacidades de fijación de objetivos en los
distintos dominios operacionales.
Con el fin de facilitar la comprensión del impacto de la
Inteligencia Artificial en los nuevos sistemas de artillería, este
estudio se centrará en su papel como soporte a la fijación de
objetivos, haciéndose una revisión de la adaptación de las
diferentes estrategias de aprendizaje automático (del inglés
machine learning) aplicadas a este problema y sus principales
Jorge Maestre Vidal, Indra Sistemas S.A, Digital Labs,
Avenida de Bruselas, 35, Alcobendas, Madrid, España. E-
mail: jmaestre@indra.es.
retos [2]. A diferencia de los métodos convencionales de
fijación de objetivos, la adaptación de técnicas de aprendizaje
automático permite a los sistemas de fuego mejorar su
eficacia a medida que adquieren experiencia sobre el entorno
operacional, automatizando cálculos y distinguiendo matices
imperceptibles para el operador humano. No obstante, su
correcta implementación tendrá que hacer frente a una gran
cantidad de desafíos, como el aprendizaje automático
adversario [3], cambios inesperados en el entorno operacional
[4] o la necesidad de procesar grandes volúmenes de datos en
intervalos muy pequeños de tiempo [5].
II. APRENDIZAJE AUTOMÁTICO
El aprendizaje automático es un área de la Inteligencia
Artificial donde la emulación de los procesos de percepción,
razonamiento y deducción humanos es mejorada a medida
que el sistema adquiere experiencia (conocimiento fáctico),
típicamente recopilada en colecciones de observaciones o
muestras (del inglés datasets). Laskov et al. [6] realizaron dos
observaciones esenciales necesarias para comprender las
diferentes estrategias de adquisición de conocimiento y
decidir la más apropiada para cada caso de uso: en primer
lugar, debe tenerse en cuenta que las muestras etiquetadas son
a menudo difíciles de obtener, situación que puede agravarse
si el sistema opera en tiempo real sobre escenarios donde por
limitaciones de cómputo, no es posible procesar toda la
información extraída. Por otro lado, es imposible disponer de
una colección de observaciones que abarque todas las
posibles situaciones a las que el sistema inteligente será
expuesto. Tradicionalmente el aprendizaje automático puede
ser supervisado, semi-supervisado, no supervisado, reforzado,
transductivo o multitarea; y permitirá la construcción de
modelos de información que facilitarán tareas de
clasificación, regresión, agrupamiento, asociación, reducción
de dimensionalidad o predicción sobre observaciones del
entorno operacional.
III. APRENDIZAJE AUTOMÁTICO Y FIJACIÓN DE OBJETIVOS
Tal y como indicó Lewis en un estudio sobre el impacto
de la Inteligencia Artificial en operaciones militares publicado
en el año 2017 por el Centro de Análisis Naval del
Departamento de Defensa de Estados Unidos [7], el
aprendizaje automático lleva dando soporte a la
automatización de tareas relacionadas con la fijación de
objetivos desde hace décadas. Esto incluye entre otros, la
implementación de técnicas de visión artificial (ver Fig. 1),
predicción de la evolución de objetivos o la asociación de
información procedente de sensores de diferente naturaleza.
Algunas iniciativas recientes como el Algorithm Warfare
Jorge Maestre Vidal, PhD
III Jornadas Conde de Gazola – La Inteligencia Artificial y la Artillería
Cross-Functional Team (Proyecto Maven), Organization for
Applied Scientific Research (TNO), Defense Innovation Unit
Exprimental (DIUx) o la National Geospatial-Intelligence
Agency llevan varios años investigando la manera de incluir
los avances más recientes del aprendizaje automático en estos
automatismos, destacando su uso como soporte a misiones
perpetradas por vehículos autónomos, principalmente UAVs
(del inglés Unmanned Aerial Vehicles). Ejemplos de ello son
el Northrop Grumman X-47B americano, el Dassault
nEUROn europeo o el Mikoyan Skat ruso, los cuales integran
parte de dichos avances. Es importante destacar que
tecnologías similares también han contribuido a mejorar la
automatización de respuestas, estando presentes en sistema de
misiles tierra-aire como los Phalanx CIWS o MIM-104
Patriot americanos, o en los sistemas Iron Dome israelíes,
quedando esta última aplicación fuera del alcance del estudio
realizado.
IV. DIFICULTADES OPERACIONALES
El estudio de Lewis llevó a cabo una revisión en
profundidad de fracasos operacionales, en parte derivados del
uso incorrecto de aprendizaje automático en operaciones
militares [7]. Entre otras, señaló algunas situaciones que
llevarían a causar fuego amigo: identificación errónea de
activos, confusión entre aliados y unidades hostiles, errores al
comunicar la naturaleza de los activos identificados o una
contextualización insuficiente durante el desarrollo del
objetivo. También mencionó varias causas que llevarían a
causar daños colaterales, como el pasar por alto la presencia
de civiles próximos al objetivo, o el confundir civiles con
unidades hostiles. Al aplicarse a la automatización de tares, se
dieron cuenta del uso incorrecto de la Paciencia Táctica, o la
desestimación del resto de CoAs inherentes a la misión. Por
ejemplo, el abatimiento de un objetivo ubicado sobre un
puente necesario para atravesar un rio, resultando en la
destrucción de ambos, y, por lo tanto, derivando en un retraso
inesperado de su finalización.
Otro trabajo, esta vez llevado a cabo por Ekelhof y
publicado en junio del 2018 por el Naval War College del
DoD americano [9], reafirmó el problema de la
descontextualización de objetivos. Además, señaló otras
dificultades operacionales a tener en cuenta, como la falta de
dinamismo al tratar TSTs (del inglés Time‐sensitive Targets),
insuficiencias en la agregación de información procedente de
fuentes heterogéneas, y su impacto en la degradación de la
“humanización” en la toma de decisiones. Ekelhof concluyó
matizando la necesidad de cambiar la mentalidad altamente
orientada al hardware de la armada (del inglés hardware-
mind), por una visión más lógica del entorno operacional y
sus capacidades defensivas (del inglés “software-mind”).
V. DIFICULTADES TÉCNICAS
Las principales dificultades técnicas relacionadas con la
aplicación de aprendizaje automático son generalmente
comunes a las presentes en otras áreas de investigación, como
la seguridad de la información y el reconocimiento de
anomalías. Dada la alta dependencia de su eficacia respecto al
conocimiento fáctico considerando durante los procesos de
entrenamiento, la adquisición de una colección de muestras lo
suficientemente extensa y significativa de las características
del entorno operacional, es sin duda la principal de ellas. El
Figura 1: Ejemplo de identificación de unidades navales
mediante técnicas de visión artificial [8]
aprendizaje deberá ser dinámico, adaptándose a cambios en la
caracterización de la información considerada como
referencia (ej. no estacionariedad, no linealidad, etc.),
evitándose así la problemática inherente al concepto deriva
(del inglés concept drift) [4]. Otra dificultad es la decisión del
mejor criterio de construcción de modelos y las distancias de
similitud a considerar: minimización de falsos positivos,
maximización de tasa de acierto, decisión de equilibrios
intermedios (ej. índice de Youden), etc. [10].
La popularidad del uso de técnicas de aprendizaje
automático en el ámbito de la detección de intrusiones, ha
dado lugar al desarrollo de técnicas para lograr su evasión,
conocidas por la comunidad investigadora como aprendizaje
automático adversario (del inglés, adversarial machine
learning) [3] [11]. También ha derivado en estrategias de
evasión basadas en imitación (del inglés mimicry) [12], que
aunque no tienen antecedentes en escenarios operacionales
reales, se espera que evolucionen de manera natural hacia sus
nuevas aplicaciones en sistemas militares.
Otros desafíos son el procesamiento de grandes volúmenes de
información en tiempo real [5], y la correcta transposición de
las conclusiones alcanzadas por automatismos a la lógica
humana, donde la incertidumbre inherente a los procesos
estocásticos (ver Fig. 2) tendrá que ser adecuadamente
interpretada tanto a lo largo del desarrollo del objetivo, como
en las subsecuentes tareas de toma de decisiones[13].
III Jornadas Conde de Gazola – La Inteligencia Artificial y la Artillería
Figura 2: Ejemplo de incertidumbre en sistema experto
basado en el Modelo Oculto de Markov
Finalmente, cabe destacar la necesidad de considerar la
susceptibilidad de los automatismos basados en aprendizaje
automático a acciones hostiles procedentes del ciberespacio,
las que podrían “envenenar” la información generada
derivando en un incorrecto desarrollo del objetivo [14].
VI. CONCLUSIONES
Este estudio ha revisado algunos de los principales
desafíos técnicos y operacionales inherentes al uso de
automatismos basados en aprendiza automático en los
procesos del desarrollo del objetivo. En vista de los resultados
obtenidos, cabe resaltar que debido a la sensibilidad de las
fases 2 y 3 del ciclo de Targeting conjunto en relación a la
causalidad de fuego fratricida y/o daños colaterales, la
adaptación de automatismos jugará un papel esencial en los
próximos años. No obstante, esto irá de la mano de nuevos
desafíos y riesgos que deberán de afrontarse, abarcando desde
el entrenamiento de sistemas inteligentes, hasta su integración
en activos que actuarán sobre escenarios operacionales reales.
Por otro lado, es de esperar que la automatización del
desarrollo del objetivo contribuya a la deshumanización de las
tareas de decisiones, por lo que la “softwarización” de la
mentalidad militar cada vez será más necesaria. Finalmente
cabe destacar la alta dependencia de estos automatismos y el
ciberespacio como dominio operacional, lo que conlleva la
necesidad de tener constantemente presentes las posibles ciber
amenazas que puedan llevar a un desarrollo de objetivos
insuficiente o envenenado por un adversario hostil.
REFERENCIAS
[1] K. Payne, "Strategy, Evolution, and War: From Apes to Artificial
Intelligence". Strategy, Evolution, and War: From Apes to Artificial
Intelligence. Georgetown University Press, 2018.
[2] P. Svenmarck, L. Luotsinen, M. Nilsson, J. Schubert, "Possibilities
and Challenges for Artificial Intelligence in Military Applications".
NATO STO-MP-IST-160, Nordeaux, Francia, 2018.
[3] B. Biggio, F. Roli, "Wild patterns: Ten years after the rise of
adversarial machine learning". Pattern Recognition, Vol. 84, pp. 317-
331, 2018.
[4] G. Ditzler, M. Roveri, C. Alippi, R. Polikar, "Learning in
Nonstationary Environments: A Survey". IEEE Computational
Intelligence Magazine, Vol. 10(4), pp. 12-25, 2015.
[5] A. Siddiqa, I.A.T. Hashem, I. Yaqoob, M. Marjani, S. Shamshirband,
A. Gani, F. Nasaruddin, "A survey of big data management:
Taxonomy and state-of-the-art". Journal of Network and Computer
Applications, Vol. 71, pp. 151-166, 2016.
[6] P. Laskov, P. Dussel, C. Schafer, K. Rieck, “Learning intrusion
detection: supervised or unsupervised?". En Proc. 13th International
Conference on Image Analysis and Processing (ICIAP 2005), Cagliari,
Italy, pp. 50-57, 2015.
[7] L. Lewis, " Insights for the Third Offset: Addressing Challenges of
Autonomy and Artificial Intelligence in Military Operations". Center
of Naval Analysis, U.S. Navy, Department of Defense (DOD), 2017.
[8] R. Zhanga, K. Zhang, C. Feng, J. Zhang, "S-CNN based ship
detection from high-reslution remote sensing images". En Proc. XXIII
ISPRS Congress, Prague, Czech Republic, 2016
[9] M.A.C. Ekelhof, "Lifting the Fog of Targeting “Autonomous
Weapons” and Human Control through the Lens of Military
Targeting". Naval War College Review, Vol. 71 (3), pp. 61-94, 2018.
[10] M.S. Zitouni, H. Bhaskar, J. Dias, M.E. Al-Mualla, "Advances and
trends in visual crowd analysis: A systematic survey and evaluation of
crowd modelling techniques". Neurocomputing, Vol. 186, 2016.
[11] I.J. Goodfellow, J. Shlens, C. Szegedy. "Explaining and Harnessing
Adversarial Examples", arXiv:1412.6572, 2015.
[12] Jorge Maestre Vidal, A.L.S. Orozco, L.J.G. Villalba, Online
masquerade detection resistant to mimicry, Expert Systems with
Applications, Vol. 61, No. 1, pp. 162-180, 2016.
[13] K. van den Bosch, A. Bronkhorst, "Human-AI Cooperation to Benefit
Military Decision Making". NATO STO-MP-IST-160, Nordeaux,
France, 2018.
[14] S. Jamie, "Cyberspace as a Domain of Operations: What Is NATO's
Vision and Strategy". MCU Journal Vol. 9, 2018.
Jorge Maestre Vidal es doctor en Ingeniería
Informática por la Universidad Complutense de
Madrid y antiguo investigador del Departamento de
Ingeniería del Software e inteligencia Artificial
(DISIA) de su Facultad de Informática.
Actualmente es Especialista Senior en
Ciberseguridad en Indra Sistemas S.A, formando
parte de su departamento Digital Labs. Jorge
Maestre Vidal es el coordinador técnico de los proyectos EDA Cyber
Defence Situation Awareness Package Rapid Research Prototype (CySAP-
RRP) y EDA Generation of Data Sets for Validation of Cyber Defence Tools
(Stage Three). Sus actividades de investigación en Inteligencia Artificial,
Ciberdefensa y su impacto en Escenarios Emergentes de Comunicaciones, le
han llevado a participar en proyectos H2020 como SPARTA, RAMSES,
SELFNET o CRYPTACUS.
III Jornadas Conde de Gazola – La Inteligencia Artificial y la Artillería
ResearchGate has not been able to resolve any citations for this publication.
Possibilities and Challenges for Artificial Intelligence in Military Applications
Conference Paper
Full-text available
  • May 2018
Recent developments in artificial intelligence (AI) have resulted in a breakthrough for many classical AI-applications, such as computer vision, natural language processing, robotics, and data mining. Therefore, there are many efforts to exploit these developments for military applications, such as surveillance, reconnaissance , threat evaluation, underwater mine warfare, cyber security, intelligence analysis, command and control, and education and training. However, despite the possibilities for AI in military applications, there are many challenges to consider. For instance, 1) high risks means that military AI-systems need to be transparent to gain decision maker trust and to facilitate risk analysis; this is a challenge since many AI-techniques are black boxes that lack sufficient transparency, 2) military AI-systems need to be robust and reliable; this is a challenge since it has been shown that AI-techniques may be vulnerable to imperceptible manipulations of input data even without any knowledge about the AI-technique that is used, and 3) many AI-techniques are based on machine learning that requires large amounts of training data; this is challenge since there is often a lack of sufficient data in military applications. This paper present results from ongoing projects to identity possibilities for AI in military applications, as well as how to address these challenges.
Human-AI Cooperation to Benefit Military Decision Making
Cover Page
Full-text available
  • May 2018
Military decision making takes place in variety of complex domains (defense, security, cyber, etc.). Artificial Intelligence not only allows for data reduction and synthesis, but also for the development of predictions about future events, and about outcomes to considered interventions. However, due to the often uncertain circumstances and ill-defined problems, AI cannot yet do this autonomously. Instead, deriving decisions from predictions and analysed data should be organized as an interactive human-technology activity, in which both parties become aware of one another’s strengths, limitations, and objectives. This paper addresses how humans and AI-systems should cooperate to achieve better decision making. It is argued that situation judgment can be improved through interactive explanatory dialogues, and that well-chosen explanations will support judgments and goal setting. An AI-system should be able to adapt itself dynamically to the decision maker, by taking into account his objectives, preferences, and track record (e.g. susceptibility to bias). Furthermore, this approach also contributes to ‘trust-calibration’: a level of warranted trust in each other’s competencies. It is proposed to discern different stages in human-AI collaboration, ranging from one-way messaging to actual teaming. Ideally, AI-systems should be able to function as intelligent team players, but also at lower levels of collaboration, human-machine performance can be substantially boosted.
S-CNN-BASED SHIP DETECTION FROM HIGH-RESOLUTION REMOTE SENSING IMAGES
Conference Paper
Full-text available
  • Jun 2016
Reliable ship detection plays an important role in both military and civil fields. However, it makes the task difficult with high-resolution remote sensing images with complex background and various types of ships with different poses, shapes and scales. Related works mostly used gray and shape features to detect ships, which obtain results with poor robustness and efficiency. To detect ships more automatically and robustly, we propose a novel ship detection method based on the convolutional neural networks (CNNs), called SCNN, fed with specifically designed proposals extracted from the ship model combined with an improved saliency detection method. Firstly we creatively propose two ship models, the “V” ship head model and the “||” ship body one, to localize the ship proposals from the line segments extracted from a test image. Next, for offshore ships with relatively small sizes, which cannot be efficiently picked out by the ship models due to the lack of reliable line segments, we propose an improved saliency detection method to find these proposals. Therefore, these two kinds of ship proposals are fed to the trained CNN for robust and efficient detection. Experimental results on a large amount of representative remote sensing images with different kinds of ships with varied poses, shapes and scales demonstrate the efficiency and robustness of our proposed S-CNN-Based ship detector.
A Survey of Big Data Management: Taxonomy and State-of-the-Art
Article
Full-text available
The rapid growth of emerging applications and the evolution of cloud computing technologies have significantly enhanced the capability to generate vast amounts of data. Thus, it has become a great challenge in this big data era to manage such voluminous amount of data. The recent advancements in big data techniques and technologies have enabled many enterprises to handle big data efficiently. However, these advances in techniques and technologies have not yet been studied in detail and a comprehensive survey of this domain is still lacking. With focus on big data management, this survey aims to investigate feasible techniques of managing big data by emphasizing on storage, pre-processing, processing and security. Moreover, the critical aspects of these techniques are analyzed by devising a taxonomy in order to identify the problems and proposals made to alleviate these problems. Furthermore, big data management techniques are also summarized. Finally, several future research directions are presented.
Advances and trends in visual crowd analysis: A systematic survey and evaluation of crowd modelling techniques
Article
Full-text available
Visual recognition of crowd dynamics has had a huge impact on several applications including surveillance, situation awareness, homeland security and intelligent environments. However, the state-of-the-art in crowd analysis has become diverse due to factors such as: a) the underlying definition of a crowd, b) the constituent elements of the crowd processing model, c) its application, hence d) the dataset and e) the evaluation criteria available for benchmarking. Although such diversity is healthy, the techniques for crowd modelling thus developed have failed to establish credibility therefore becoming unreliable and of questionable validity across different research disciplines. This paper aims to give an account of such issues by deducing key statistical evidence from the existing literature and providing recommendations towards focusing on the general aspects of techniques rather than any specific algorithm. The advances and trends in crowd analysis are drawn in the context of crowd modelling studies published in leading journals and conferences over the past 7 years. Finally, this paper shall also provide a qualitative and quantitative comparison of some existing methods using various publicly available crowd datasets to substantiate some of the theoretical claims.
Learning in Nonstationary Environments: A Survey
Article
Full-text available
The prevalence of mobile phones, the internet-of-things technology, and networks of sensors has led to an enormous and ever increasing amount of data that are now more commonly available in a streaming fashion [1]-[5]. Often, it is assumed - either implicitly or explicitly - that the process generating such a stream of data is stationary, that is, the data are drawn from a fixed, albeit unknown probability distribution. In many real-world scenarios, however, such an assumption is simply not true, and the underlying process generating the data stream is characterized by an intrinsic nonstationary (or evolving or drifting) phenomenon. The nonstationarity can be due, for example, to seasonality or periodicity effects, changes in the users' habits or preferences, hardware or software faults affecting a cyber-physical system, thermal drifts or aging effects in sensors. In such nonstationary environments, where the probabilistic properties of the data change over time, a non-adaptive model trained under the false stationarity assumption is bound to become obsolete in time, and perform sub-optimally at best, or fail catastrophically at worst.
Explaining and Harnessing Adversarial Examples
Article
Full-text available
  • Dec 2014
Several machine learning models, including neural networks, consistently misclassify adversarial examples---inputs formed by applying small but intentionally worst-case perturbations to examples from the dataset, such that the perturbed input results in the model outputting an incorrect answer with high confidence. Early attempts at explaining this phenomenon focused on nonlinearity and overfitting. We argue instead that the primary cause of neural networks' vulnerability to adversarial perturbation is their linear nature. This explanation is supported by new quantitative results while giving the first explanation of the most intriguing fact about them: their generalization across architectures and training sets. Moreover, this view yields a simple and fast method of generating adversarial examples. Using this approach to provide examples for adversarial training, we reduce the test set error of a maxout network on the MNIST dataset.
Learning Intrusion Detection: Supervised or Unsupervised?
Conference Paper
Full-text available
Application and development of specialized machine learn- ing techniques is gaining increasing attention in the intrusion detection community. A variety of learning techniques proposed for different in- trusion detection problems can be roughly classified into two broad cat- egories: supervised (classification) and unsupervised (anomaly detection and clustering). In this contribution we develop an experimental frame- work for comparative analysis of both kinds of learning techniques. In our framework we cast unsupervised techniques into a special case of classification, for which training and model selection can be performed by means of ROC analysis. We then investigate both kinds of learning techniques with respect to their detection accuracy and ability to detect unknown attacks.
Wild Patterns: Ten Years After the Rise of Adversarial Machine Learning
Article
Learning-based pattern classifiers, including deep networks, have demonstrated impressive performance in several application domains, ranging from computer vision to computer security. However, it has also been shown that adversarial input perturbations carefully crafted either at training or at test time can easily subvert their predictions. The vulnerability of machine learning to adversarial inputs (also known as adversarial examples), along with the design of suitable countermeasures, have been investigated in the research field of adversarial machine learning. In this work, we provide a thorough overview of the evolution of this interdisciplinary research area over the last ten years, starting from pioneering, earlier work up to more recent work aimed at understanding the security properties of deep learning algorithms, in the context of different applications. We report interesting connections between these apparently-different lines of work, highlighting common misconceptions related to the evaluation of the security of machine-learning algorithms. We finally discuss the main limitations of current work, along with the corresponding future research challenges towards the design of more secure learning algorithms.
Online Masquerade Detection Resistant to Mimicry
Article
Masquerade attackers are internal intruders acting through impersonating legitimate users of the victim system. Most of the proposals for their detection suggested recognition methods based on the comparison of use models of the protected environment. However recent studies have shown their vulnerability against adversarial attacks based on imitating the behavior of legitimate users. In order to contribute to their identification, this article introduces a novel detection method robust against evasion strategies based on mimicry. The proposal described two levels of information processing: analysis and verification. At the analysis stage, local alignment algorithms are implemented. In this way it is possible to score the similarity between action sequences performed by users, bearing in mind their regions of greatest resemblance. On the other hand, a novel validation scheme based on the statistical non-parametric U-test is implemented. Through this it is possible to refine the labeling of sequences to avoid making hasty decisions when their nature is not sufficiently clear. In order to strengthen their effectiveness against mimicry attacks, the analysis of the monitored sequences is performed in concurrency. This involves partitioning long sequences with two purposes: making subsequences of small intrusions more visible and analyzing new sequences when suspicious situations occur, such as the execution of never before seen commands or the discovery of potentially harmful activities. The proposal has been evaluated from the functional standard SEA and mimicry attacks. Promising experimental results have been shown, demonstrating great precision against conventional masqueraders (TPR=98.3%, FPR=0.77%) and a success rate of 80.2% when identifying mimicry attacks, hence outperforming the best contributions of bibliography.