As redes neurais surgiram do interesse de simular o funcionamento das redes de neurônios, principal unidade de processamento do cérebro, com a vantagem de poder construir modelos capazes de resolver tarefas de classificação e agrupamento (na visão de mineração de dados). A simulação de um neurônio se dá por meio de um modelo fisiológico básico, no qual possui três partes, o corpo celular, os dendritos e o axônio, como visto na Figura 1. A aproximação entre um axônio de um neurônio e o dendrito de outro desencadeia um processo de reações chamado sinapse, um impulso nervoso que dá continuidade ao fluxo de informação.
Um neurônio artificial é uma função com entradas e saídas, proposto primeiramente por McCulloch-Pitts, mas seguia regras muito específicas para serem usadas de fato. O modelo que foi mais bem visto foi o famoso Perceptron, por Rosemblatt, sendo depois adaptado para o Multilayer Perceptron. Um exemplo pode ser visto na Figura 2.
A camada de Input (entrada) aceita vários formatos como atributos da sua base de dados, textos, pixels de imagens, números etc. As camadas Hidden são responsáveis pela parte matemática, manipulação de dados, filtração e extração de atributos. A camada de Output dá a saída do modelo baseado na informação que ele recebe das camadas anteriores. Há diversos hiperparâmetros em cada uma das camadas que são inicializados e otimizados, por exemplo, em cada nó há um peso que é atribuído inicialmente de forma aleatória, mas que é otimizado com um algoritmo de treinamento para ajustar o modelo, em conjunto com outro hiperparâmetro chamado bias. Para saber qual nó da camada de saída que será ativado, entre a camada escondida e a de saída há uma função de ativação que recebe como entrada os resultados das anteriores e irá decidir qual nó ativar.
Baseado no nó de saída que for disparado será dado um valor de saída, mas este pode ainda conter erros que poderiam ser ajustados pelo modelo. Essa técnica de voltar e ajustar o modelo baseado no erro que foi dado da saída é chamado de backpropagation, e o erro é calculado através de uma função de custo. Esse processo é repetido diversas vezes até que a função de custo seja minimizada, ou seja, o erro seja minimizado.
Há diversos tipos de redes neurais artificiais, além do Perceptron, como convolutional neural network, recurrent neural networks, self-organizing map, e muito mais! Isso sem falar no mundo do deep learning. Este foi um resumo breve e abstrato para se ter uma prévia do que é o mais básico desta parte.