Aula_01_ImersaoDados.ipynb


#Olá! 

Seja bem-vinda  ou bem-vindo ao notebook da aula 01, nesta aula vamos realizar nossa primeira análise de dados e no final já seremos capazes de tirar algumas conclusões.

Nós desenvolveremos nosso projeto aqui no google colaboratory, assim podemos mesclar células contendo textos em formato markdown e células de código, além disso você não precisa instalar nada na sua máquina. Então, que tal começar testando algumas linhas de código?

No campo abaixo temos o que chamamos de célula. Na célula nós podemos digitar textos, cálculos e códigos. 

Após eu introduzir o que eu quero na célula eu vou rodar esse conteúdo. Para isso podemos usar o atalho SHIFT + ENTER, ou até mesmo clicar no símbolo de play no canto esquerdo da célula. Na primeira vez que rodamos algo no nosso notebook ele vai demorar um pouco mais de tempo, e isso ocorre porque o google está alocando uma máquina virtual para nós utilizarmos.

Vamos então fazer alguns testes, como os exemplos abaixo:


10 + 10

'Thiago'

# Importando os dados

Nessa imersão nós vamos mergulhar no universo da biologia e da biotecnologia e explorar uma base de dados da área.

Para a nossa análise, está faltando então os dados. Para conseguirmos esses dados vamos acessar o Github, nesse link:

https://github.com/alura-cursos/imersaodados3/tree/main/dados

Então, agora vamos importar essa base de dados para dentro do nosso notebook. Para juntar essas informações vamos utilizar nossa famosa biblioteca do "Pandas".
Vamos importar essa biblioteca através do seguinte código:

import pandas as pd

url_dados = 'https://github.com/alura-cursos/imersaodados3/blob/main/dados/dados_experimentos.zip?raw=true'

dados = pd.read_csv(url_dados, compression = 'zip')
dados

Observe que imprimimos agora todas as nossas linhas e colunas da nossa tabela.

Aqui observamos que temos dados referentes a ID, tratamento, tempo, dose, entre outras.

Para nos auxiliar na visualização e na identificação das colunas dos dados que vamos trabalhar, faremos um recorte, uma espécie de cabeçalho, com 5 linhas, e para isso usamos o seguinte comando:

dados.head()

Quando estávamos trabalhando com o conjunto total de dados nós tínhamos a informação do número total de linhas e colunas. Porém, agora com o head, nós perdemos essa informação. Então, caso você queira recuperar a informação do total de linhas e colunas basta utilizar:

dados.shape

Então, agora vamos voltar para o nosso problema. 

Nós queremos iniciar fazendo uma análise dos dados que estamos tratando. Vamos começar selecionando só uma coluna, para entendermos do que ela está tratando. 

Vamos iniciar com a coluna tratamento. Para isso vamos digitar:

dados['tratamento']

Esse tipo de informação, da coluna, é o que chamamos de 'série'. Já a tabela inteira nós chamos de 'dataframe'.

Agora para vermos os tipos específicos de informação que temos dentro dessa coluna vamos digitar:

dados['tratamento'].unique()

A resposta foi dada no formato de array, que nada mais é do que um vetor, ou seja, um tipo de estrutura de dados.

Observe que encontramos dois tipos: 'com droga' e 'com controle'.

Com droga, como o próprio nome nos diz, é quando estamos aplicando algum tipo de droga para a amostra. Já com o controle é uma técnica estatística em que isolamos as outras varíaveis e observamos apenas a variável de interesse.


Agora vamos analisar a coluna do tempo:

dados['tempo'].unique()

Encontramos 3 tipos de informação nessa coluna: 24, 72 e 48. O que pode nos indicar o tempo, provavelmente em horas, de intervalo que foi administrada a dose de medicamentos ou drogas.

É interessante que observamos o comportamento das células com essa diferença de tempo, já que se analisássemos num período diferente poderia não dar tempo suficiente pra célula manifestar o determinado comportamento.

Além do tempo, podemos analisar também a coluna de dose:

dados['dose'].unique()

Aqui obtemos dois tipos de doses diferentes, d1 e d2, mas não conseguimos afirmar nada categoricamente de antemão.


Vamos então analisar a categoria droga:

dados['droga'].unique()

Agora com a resposta de ```dados['droga'].unique()``` obtivemos essa série de códigos como resposta. Talvez esses números foram codificados na tentativa de anonimizar os tipos de drogas usadas, para tentar evitar qualquer tipo de viés na análise dos resultados.

Há uma série de regras quando alguns experimentos são feitos, evitando mostrar dados como nome, sexo, e outros fatores, dependendo da análise a ser feita, para que sejam evitados vieses.

Vamos analisar a coluna nomeada como g-0 agora:

dados['g-0'].unique()

Só olhando fica difícil tentar deduzir o que esses números representam. Então, nesse ponto, com o auxílio da Vanessa, especialista, conseguimos a informação que essa letra 'g' da coluna remete à palavra gene. Ou seja, esses números nos dizem a expressão de cada gene frente as drogas ou a exposição.

Quando subimos de volta na tabela, percebemos que há diversos valores, inclusive com várias casas decimais. Aparentemente esses números foram "arredondados", normalizados, para podermos compará-los de alguma forma.

Então, até agora na nossa análise, já conseguimos identificar e entender as informações de diferentes colunas; as colunas que nos indicam os tratamentos, as drogas, o tempo, e depois as respostas genéticas, que tem a letra g no ínicio do seu nome.

Outro tipo de análise que podemos fazer agora é entender a distribuição dessas informações. Por exemplo, podemos saber quantos experimentos temos utilizando droga e quantos não utilizam; quantos usam o d1, e quantos utilizam o d2, e assim por diante.

Como podemos fazer isso? Vamos utilizar esse código:

dados['tratamento'].value_counts()

Agora, em vez de usarmos o ```.unique``` no código, nós utilizamos o ```.value_counts``` já que nosso objetivo era contar a quantidade de valores que apareciam nas colunas, nesse caso, na coluna ```tratamento```.

No resultado ele retornou 2 linhas: uma com a quantidade de elementos que temos, ou seja, com a minha frequência, na categoria ```com_droga``` e a outra com a quantidade que temos na categoria ```com_controle```.

Houve uma grande diferença no resultado dessas categorias, não é mesmo? Isso é, no mínimo, curioso. Então, Guilherme vai nos sugerir um desafio, de investigar o por quê dessa diferença tão grande.

Nesse momento o Thiago já escreve outros dois desafios, o desafio #2 e o desafio #3. E a Vanessa também deixa o seu, desafio #4. Todos os desafios dessa aula estão escritos no final desse notebook.

Será que essa diferença entre os valores dentro das categorias continuam tão desproporcionais? Vamos investigar a categoria ```dose```:

dados['dose'].value_counts()

Nesse ponto parece que as coisas já estão mais equilibradas. Mas somente com o número é difícil fazermos uma leitura mais aprofundada. Então, nesse momento, vamos resolver um dos desafios deixados. Então, se até aqui você ainda nao resolveu os desafios do vídeo e nao quer receber um spoiler, pare aqui e tente resolvê-los primeiro.

Para entendermos melhor e fazer um comparativo é legal traçarmos a proporção entre os dados. Vamos escrever o código agora, setando como parâmetro, dentro dos parênteses o ```normalize = True``` :

dados['tratamento'].value_counts(normalize = True)

Temos agora os dados "normalizados". Podemos interpretar utilizando a porcentagem (multiplicando por 100), o que nos daria algo em torno de 92% versus 8% (aproximadamente), mostrando o tamanho da desproporção.

Vamos fazer o mesmo agora com a coluna ```dose```:

dados['dose'].value_counts(normalize = True)

Temos aqui o resultado. Inclusive, como mini-desafio, você pode fazer o mesmo processo com as outras colunas.

Certo, mas geralmente, quando há a trasmissão dessas informações, vemos uma série de gráficos. E, geralmente, é usado aquele gráfico que parece uma torta, ou uma pizza.

Vamos então plotar um gráfico dessa tipo, com o seguinte código:

dados['tratamento'].value_counts().plot.pie()

Aqui, em azul, nós temos a quantidade de tratamento com drogas(que é muito maior, em proporção), e em laranja temos o tratamento "com controle". Ficou até parecendo um pacman, hehe.

Vamos aproveitar e analisar as outras informações com os gráficos também, para vermos o que acontece. Vamos analisar a coluna tempo:

dados['tempo'].value_counts().plot.pie()

Repare como ficou difícil a olho nú identificarmos qual observação é maior através do gráfico. Esse tipo de gráfico pode acabar dificultando um pouco a análise, especialmente quando as informações estão melhor balanceadas. 

Além de identificar a quantidade de horas observadas, nós não conseguimos extrair mais nenhuma informação desse gráfico. Inclusive, nós temos uma espécie de regrinha, que diz que quando formos fazer algum tipo de análise, procurarmos evitar o uso de gráficos que nos remetem a comida, como por exemplo: rosca, pizza, torta, e assim por diante.

Então qual tipo de gráfico poderíamos utlizar para melhorarmos nossa visualização? Vamos utilizar o gráfico de barras, através deste código:

dados['tempo'].value_counts().plot.bar()

Agora sim conseguimos identificar com mais facilidade qual observação tem a sua maior frequência. Na verdade a quantidade de horas com o maior número de observações foi a de 48.

No eixo y temos o número que nos remete ao número de observações. Então podemos observar que tivemos pouco mais de 8000 observações relativas às 48 horas.

Então, o gráfico de barras acabou sendo muit mais útil, nesse caso, do que o gráfico de pizza.

Ao longo da aula nós falamos sobre a expressão gênica. Se nós voltarmos à tabela, na coluna g-0, nós temos alguns valores dentro de um intervalo definido. Para não termos valores muito distantes entre si, é bastante comum no meio científico que haja uma normalização dos resultados, para criamos um intervalo que não seja tão grande, em que o meio dessa distribuição seja o 0.

Como nós podemos saber em quais linhas dessa coluna, o meu valor está acima de 0?

Vamos fazer uma consulta nos nossos dados, da seguinte maneira:

dados_filtrados = dados[dados['g-0'] > 0]
dados_filtrados.head()

Dessa maneira, temos somente as 5 primeiras linhas com o valores maiores do que 0 na coluna g-0, com a ajuda dessa máscara com o código ```[dados['g-0']>0]```.

Dessa mesma forma que aplicamos essa máscara, podemos utilizar o mesmo caminho, ou outras 'querys', para responder várias outras perguntas.

Assim, temos outro desafio, o #5, de procurar na documentação do pandas o método query.

Além desse temos outros desafios, o #6 e o #7 e o #8, todos eles estão logo abaixo.

dados

###Desafio 01: Investigar por que a classe tratamento é tão desbalanceada?

###DEsafio 02: Plotar as 5 últimas linhas da tabela

###Desafio 03: Proporção das classes tratamento.

###Desafio 04: Quantas tipos de drogas foram investigados.

###Desafio 05: Procurar na documentação o método query(pandas). 

###Desafio 06: Renomear as colunas tirando o hífen. 

###Desafio 07: Deixar os gráficos bonitões. (Matplotlib.pyplot)

###Desafio 08: Resumo do que você aprendeu com os dados