Alguns números do Twitter

maio 6th, 2010 | by | cassandra, escalabilidade, flockdb, hadoop, mysql, twitter

mai
06

Fiquei pasmo coma quantidade de informação

-50 milhões de tweets/dia
-300 mil novas contas/dia
- O Twitter gera 7 TB/dia, 2 PB/ano.
- Solução para logs com Scribe após tentar com syslog-ng.
- Hadoo p/HDFS para armazenamento e processamento distribuído. Pig para analise.
- Projeto próprio para gerenciar grafos sociais. FlockDB.
- Estão migrando de MySQL com memcached para Cassandra. Particionar MySQL leva a muitos pontos de falha, é computacionalmente pesado e demanda mais trabalho.
- Deploy em mais de 1000 maquinas em menos de 1 minuto com BitTorrent (Murder).

Agora me pergunto seria possível sem NOSQL?

Authored by

One Response to “Alguns números do Twitter”

Show / Hide Comments
  1. [...] This post was mentioned on Twitter by No-SQL BR. No-SQL BR said: Novo post no NOSQL BR: Alguns números do Twitter http://www.suissacorp.com.br/nosqlbr/alguns-numeros-do-twitter.html [...]