PDF - VERSÃO DE IMPRESSÃO

Lição 19 - Sistemas Operacionais e Armazenamento de Dados

objetivo

Olá, estudante! Na lição anterior, estudamos os recursos de hardware utilizados em Big Data. Agora, daremos um passo adiante para explorar os sistemas operacionais e o armazenamento de dados, elementos fundamentais para o funcionamento eficiente de projetos em ciência de dados, visto que você entenderá conceitos essenciais sobre como os sistemas operacionais atuam no processamento de dados, no controle de recursos e na organização de arquivos. Também compreenderemos como as diferentes formas de armazenamento são estruturadas e utilizadas em ambientes de análise.

De maneira prática e aplicada, você entenderá o papel estratégico do sistema operacional na configuração de ambientes de trabalho e no suporte às tarefas de ciência de dados. Ao final, você será capaz de reconhecer como a escolha adequada do sistema operacional e das tecnologias de armazenamento impacta diretamente o desempenho, a escalabilidade e a organização dos projetos.

Vamos lá?

problematização

Projetos de ciência de dados enfrentam constantemente o desafio de administrar grandes volumes de informação de maneira eficiente, segura e organizada. Um dos principais obstáculos surge quando o sistema operacional e as soluções de armazenamento adotadas não possuem a capacidade necessária para lidar com a carga de processamento e com a diversidade de formatos de dados envolvidos.

Quando não há um gerenciamento adequado de memória, processos e acesso a disco, podem ocorrer gargalos de desempenho que afetam o tempo de resposta das análises e até mesmo comprometem a integridade das informações. Do mesmo modo, estruturas de armazenamento mal planejadas ou desorganizadas dificultam a localização, o versionamento e a proteção dos dados, reduzindo a confiabilidade e a reprodutibilidade dos resultados obtidos.

Por isso, é essencial que você, futuro Técnico em Desenvolvimento de Sistemas, compreenda a relevância de selecionar e configurar corretamente tanto o sistema operacional quanto as tecnologias de armazenamento, assegurando uma base sólida, escalável e confiável para os projetos de ciência de dados.

Vamos entender melhor como isso funciona na prática?

case

Agora que você já compreende a importância do tema desta lição, vamos observar como os Sistemas Operacionais e o Armazenamento de Dados funcionam na prática? Para isso, conheça a empresa fictícia AgroData Inteligência Agrícola, especializada em soluções tecnológicas para o agronegócio, que enfrentava grandes desafios na gestão e análise de informações coletadas por sensores instalados em suas fazendas parceiras. Esses sensores registravam dados constantemente, como umidade do solo, temperatura, índice pluviométrico e produtividade, exigindo uma estrutura tecnológica robusta e confiável.

No início, a AgroData armazenava os dados em servidores locais, que utilizavam sistemas operacionais genéricos e sem otimizações específicas para tarefas intensivas de leitura e escrita. Como resultado, havia lentidão nas análises, falhas frequentes no processamento e dificuldade em escalar as operações.

Diante desse cenário, a equipe de tecnologia decidiu reestruturar toda a infraestrutura. Foram adotados sistemas operacionais baseados em Linux, otimizados para alto desempenho e segurança, como o Ubuntu Server. Além disso, a empresa migrou para um modelo de armazenamento híbrido, que combinava servidores físicos, volumes em nuvem e bancos de dados distribuídos. Essa nova configuração garantiu maior eficiência no uso dos recursos, estabilidade no processamento das informações e escalabilidade de acordo com o crescimento das operações.

Com essas mudanças, a AgroData passou a entregar relatórios preditivos com mais rapidez e precisão aos agricultores, favorecendo o uso inteligente de insumos e contribuindo diretamente para o aumento da produtividade no campo. Portanto, esse exemplo, mesmo sendo hipotético, mostra como a integração entre sistemas operacionais bem configurados e estratégias de armazenamento adequadas pode ser determinante para o sucesso de projetos de ciência de dados.

Vamos nos aprofundar nesse assunto?

Conceitualização

Um sistema operacional (SO) é o software fundamental que atua como intermediário entre o hardware do computador e os programas executados pelos usuários. Tanenbaum e Bos (2024) explicam que as funções do SO são fornecer aos usuários um modelo de computador mais simples, limpo e eficiente, e gerenciar todos os recursos disponíveis. Ele é responsável por garantir que os recursos da máquina, como processador, memória, dispositivos de entrada e saída e sistemas de arquivos, sejam utilizados de forma coordenada, segura e eficaz.

Entre suas responsabilidades centrais, estão: o gerenciamento de processos, que objetiva controlar a execução de programas, escalonar tarefas e assegurar que cada processo disponha dos recursos necessários para funcionar corretamente; o gerenciamento de memória, que distribui e monitora o uso da memória RAM, alocando espaço para processos em execução; o controle de dispositivos, que possibilita a comunicação entre o sistema e os periféricos, como discos rígidos, teclados e impressoras; e o gerenciamento de arquivos, que organiza e mantém o acesso aos dados armazenados, permitindo que usuários e programas criem, leiam, gravem e excluam arquivos conforme as permissões estabelecidas.

Importância do sistema operacional na ciência de dados

Na ciência de dados, o sistema operacional desempenha um papel essencial, ao garantir que as tarefas computacionais ocorram de forma eficiente e estável. Ele influencia diretamente a performance de operações críticas, como leitura e escrita de grandes volumes de dados, controle do uso de memória RAM e cache, execução de scripts em linguagens, como Python ou R, e manipulação de arquivos pesados ou múltiplos simultaneamente.

Quando o sistema operacional está bem configurado e alinhado às exigências do ambiente de análise, otimiza-se o desempenho geral dos processos, reduz-se o tempo de resposta e são prevenidas as falhas relacionadas à insuficiência de recursos.

Além disso, os sistemas operacionais com suporte a bibliotecas e ferramentas específicas da ciência de dados, como ambientes virtuais, sistemas de arquivos otimizados e gerenciamento de pacotes, ampliam a produtividade e a segurança do trabalho técnico. Portanto, compreender como o sistema operacional atua por trás das tarefas analíticas permitirá que você, futuro Técnico em Desenvolvimento de Sistemas, configure, monitore e ajuste seu ambiente para extrair o melhor desempenho das soluções em ciência de dados.

Tipos de sistemas operacionais usados em ciência de dados

Na ciência de dados, diferentes sistemas operacionais podem ser utilizados, mas as distribuições Linux, como Ubuntu, Debian e CentOS, destacam-se por sua ampla compatibilidade com bibliotecas, frameworks e ferramentas de análise. Esses sistemas oferecem maior flexibilidade para a personalização do ambiente, permitem a automação de tarefas por meio do terminal e são conhecidos por sua leveza e desempenho estável, especialmente em servidores e clusters.

Em comparação, o Windows apresenta uma interface mais amigável para iniciantes, mas pode enfrentar limitações na execução de pacotes avançados, exigindo adaptações, como o uso do WSL (Windows Subsystem for Linux). Já o macOS oferece um equilíbrio entre interface intuitiva e robustez técnica, sendo bastante utilizado por profissionais que atuam com análise de dados e desenvolvimento em Python ou R. Contudo, sua adoção costuma ser mais restrita devido ao alto custo dos dispositivos Apple. Assim, compreender as características de cada sistema operacional permite que você, futuro Técnico em Desenvolvimento de Sistemas, escolha a plataforma mais adequada ao tipo de projeto, ao volume de dados e às ferramentas empregadas no processo analítico.

Gerenciamento de recursos pelo sistema operacional

O gerenciamento de recursos pelo sistema operacional é essencial para garantir o bom desempenho em projetos de ciência de dados, especialmente quando se trabalha com grandes volumes de informação. Conceitos, como multitarefa, permitem que múltiplos processos sejam executados simultaneamente, otimizando o uso do tempo da CPU e aumentando a eficiência geral do sistema.

Além disso, o agendamento de processos define a ordem e o tempo em que cada tarefa será executada, garantindo que operações intensivas, como a execução de scripts de análise ou o treinamento de modelos, ocorram de forma eficiente. A alocação de memória assegura que cada processo disponha de espaço suficiente para operar sem causar sobrecarga no sistema, evitando travamentos ou lentidão. Já o controle do uso da CPU distribui a carga de trabalho entre os núcleos do processador, maximizando o desempenho sem comprometer a estabilidade.

Dessa forma, para você, futuro Técnico em Desenvolvimento de Sistemas, compreender esses mecanismos é fundamental para configurar ambientes de análise eficazes e diagnosticar gargalos de performance em aplicações que manipulam dados em grande escala.

Sistemas de arquivos e diretórios

O entendimento sobre sistemas de arquivos e diretórios é fundamental para quem trabalha com ciência de dados, pois grande parte do processo analítico depende da correta organização e manipulação de arquivos. A estrutura de diretórios permite agrupar dados, scripts e resultados de forma hierárquica e lógica, facilitando o acesso e a manutenção dos projetos. Além disso, conhecer os caminhos absolutos e relativos é importante para localizar arquivos corretamente em diferentes ambientes, especialmente ao automatizar tarefas com scripts.

As permissões de leitura, escrita e execução garantem segurança e controle de acesso aos dados e aplicações. Da mesma forma, o domínio sobre os tipos de arquivos e suas extensões — como .csv para dados tabulares simples, .json para estruturas mais complexas ou .parquet para formatos compactados e otimizados para desempenho — é indispensável para você, que, em breve, atuará com ciência de dados, pois influencia diretamente a forma como os dados são carregados, processados e armazenados.

Ambientes de desenvolvimento e configuração para ciência de dados

No contexto da ciência de dados, compreender os ambientes de desenvolvimento e suas configurações é essencial para garantir uma prática eficiente, reprodutível e organizada. O uso do terminal, especialmente em sistemas baseados em Unix, como o bash, permite executar comandos com agilidade, navegar entre diretórios, manipular arquivos e automatizar rotinas por meio de scripts.

A instalação de bibliotecas e pacotes — como pandas, numpy, scikit-learn ou matplotlib — pode ser realizada por gerenciadores, como pip ou conda, sendo uma etapa central na preparação do ambiente analítico. Para evitar conflitos de versões entre diferentes projetos, recomenda-se o uso de ambientes virtuais fornecidos por ferramentas, como venv ou conda, que isolam dependências e facilitam a manutenção do ambiente.

Ferramentas, como o Jupyter Notebook, são amplamente utilizadas por sua interface interativa, que combina código, visualizações e documentação em um único lugar, enquanto editores, como o VS Code ou mesmo o terminal Python, oferecem alternativas poderosas para o desenvolvimento e a depuração de código. Dominar essas ferramentas permite ao futuro Técnico em Desenvolvimento de Sistemas atuar com mais segurança, produtividade e profissionalismo em projetos de ciência de dados.

Boas práticas no uso do sistema operacional em projetos de ciência de dados

Em projetos de ciência de dados, adotar boas práticas no uso do sistema operacional é fundamental para garantir organização, eficiência e segurança ao longo do desenvolvimento. A estruturação clara de diretórios, com separação entre dados brutos, scripts, resultados e documentação, facilita a manutenção e a colaboração entre profissionais. Além disso, automatizar tarefas rotineiras por meio de shell scripts — como limpeza de dados, execuções agendadas ou movimentação de arquivos — economiza tempo e reduz erros manuais.

O uso de sistemas de controle de versões, como o Git, permite rastrear mudanças, recuperar versões anteriores e trabalhar em equipe de forma coordenada. Paralelamente, práticas básicas de segurança, como o gerenciamento adequado de permissões de leitura, escrita e execução em arquivos e pastas, ajudam a proteger dados sensíveis e evitar modificações indesejadas. Ao aplicar essas práticas, você, enquanto futuro Técnico em Desenvolvimento de Sistemas, contribui diretamente para a qualidade, a reprodutibilidade e aescalabilidade dos projetos de ciência de dados.

saiba aplicar

Para o futuro Técnico em Desenvolvimento de Sistemas, compreender o funcionamento dos sistemas operacionais e das estruturas de armazenamento de dados é essencial para garantir eficiência e controle em projetos de ciência de dados. Esse conhecimento permite configurar ambientes de análise adequados, otimizar o uso de memória e processador, manipular arquivos com segurança e executar scripts com estabilidade. Além disso, dominar esses fundamentos contribui para automatizar tarefas, organizar diretórios e trabalhar com grandes volumes de dados de forma estruturada. Assim, você se torna apto(a) a criar soluções robustas e confiáveis, prontas para lidar com os desafios práticos do mercado.

Agora é sua vez! Você realizará uma prática simples de organização e leitura de dados usando o Google Colab. Para isso, basta ter uma conta Google (@gmail.com). 3, 2, 1… vamos lá!

Passo 1: acesse o Google Colab indo até https://colab.research.google.com com sua conta Google. Crie um notebook em branco.
Passo 2: renomeie o notebook clicando no nome padrão (como “Untitled0.ipynb), no topo da tela, e renomeie para algo significativo, como analise_dados_vendas.ipynb.
Passo 3: crie uma pasta no Google Drive, acessando seu Google Drive, chamada projeto_dados. Dentro dela, salve um arquivo .csv com dados simples chamado vendas.csv. Para baixá-lo, clique aqui.
Passo 4: No primeiro bloco de código do notebook, implemente o código da Figura 1 a seguir para conectar o notebook ao seu Drive:

Figura 1 - Montando o Google Drive
Fonte: o autor.

#PraCegoVer: é exibido, na linha 1, from google.colab import drive; na linha 2, drive.mount('/content/drive').

Passo 5: após montar o Drive, identifique o caminho até o arquivo CSV salvo (exemplo: /content/drive/MyDrive/projeto_dados/vendas.csv).
Passo 6: instale e importe a biblioteca Pandas (caso necessário) e leia o arquivo conforme a Figura 2 a seguir:

Figura 2 - Leitura do arquivo no Google Drive
Fonte: o autor.

#PraCegoVer: é exibido, na linha 1, import pandas as pd; na linha 2, df = pd.read_csv('/content/drive/MyDrive/projeto_dados/vendas.csv'); na linha 3, df.head().

Passo 7: use células de texto para criar sessões, como “Leitura dos dados”, “Análise inicial”, “Limpeza dos dados”, entre outras. Isso melhora a clareza e mantém o projeto bem estruturado.
Passo 8: como o Colab salva automaticamente no Drive, você pode retomar o seu trabalho de qualquer lugar com internet.

Essa prática simples demonstra como o sistema operacional do Google Colab e o armazenamento em nuvem (Google Drive) são utilizados de forma integrada em um projeto de ciência de dados, oferecendo a você, futuro Técnico em Desenvolvimento de Sistemas, uma forma prática, segura e acessível de manipular, analisar e organizar dados em notebooks interativos. Desafie seus colegas e professores a explorar outros arquivos e recursos do sistema operacional, seja em seu laboratório de informática, seja em seu próprio notebook.

REFERÊNCIAS

TANENBAUM, A.; BOS, H. Sistemas Operacionais Modernos. 5. ed. Porto Alegre: Pearson, 2024.

Page updated

Google Sites

Report abuse