Atividade
MC-CD03 - Algoritmos e Modelos de Programação para Big Data
Tipo de atividade: Minicurso
Carga Horária: 6h
Local do evento: Auditorio B
Objetivo:
O aparecimento de grandes volumes de dados a serem analisados modificou
o panorama de sistemas de processamento de dados. Além de sistemas do
tipo NoSQL, surgiram frameworks BigData com alta escalabilidade e um
modelo de programação que favorece o processamento paralelo e
distribuído. Neste curso apresentaremos as principais abordagens para
processamento BigData e nos concentraremos nos frameworks existentes.
Discutiremos seu Modelo de Programação, Arquitetura e Técnicas de
Programação.
Ementa:
Parte teórica
1. Introdução a BigData
2. Modelos de Programação: Map-Reduce, BSP, GraphX e Giraph.
3. Apache Spark e Hadoop HDFS
4. Estruturas de dados para grandes volumes de dados: Kd-tree, Ph-tree,
DHTs,Quadtrees,...
5. Particionamento de dados
6. Clusterização: K-Means, DBSCAN,NG-DBSCAN, ...
Parte prática.
Exercício com o framework Apache Spark Python
OBS: Para aula prática, se possível, cada aluno deve trazer seu próprio
notebook.
Referências Bibliográficas:
[1] Dean, J., Ghemawat, S., "MapReduce: Simplified Data Processing on
Large Clusters", OSDI'04: Sixth Symposium on Operating System Design and
Implementation, San Francisco, CA, December, 2004.
[2] Tamer Ozsu, Patrick Valduriez, Principles of Distributed Database
Systems, Springer-Verlag, 2011.
[3] Hasso Plattner, Alexander Zeir, In-Memory Data Management, Springer
[4] Zaharia, M., Chowdhury, M., Franklin, M. J., Shenker, S., and Stoica,
I. (2010). Spark: Cluster computing with working sets. In Proceedings of the
2nd USENIX Conference on Hot Topics in Cloud Computing, HotCloud10,
pages 1010, Berkeley, CA, USA. USENIX Association.
[5] Fabio Porto, Algoritmos e Programação em Big Data, Apostila, 2017
Local: LNCC - Laboratório Nacional de Computação Ciêntifica
Endereço: Getúlio Vargas Av., 333, Quitandinha Petrópolis - Rio de Janeiro CEP 25651-075 - Brasil
Telefone: (24) 2233.6004
Participantes:
| Tipo Participação | Nome | Instituição |
|---|---|---|
| Professor | Fabio André Machado Porto | Laboratório Nacional de Computação Científica |
Agenda :
| Data | Dia Semana | Início | Fim |
|---|---|---|---|
| 10/02/2020 | Segunda | 13:30 | 15:00 |
| 11/02/2020 | Terça | 13:30 | 15:00 |
| 12/02/2020 | Quarta | 13:30 | 15:00 |
| 13/02/2020 | Quinta | 13:30 | 15:00 |
