Riak, alta performance NoSQL para seu projeto

Esse ano de 2012 ajudei a comunidade Riak que a cada dia esse banco de dados vem me surpreendendo. Estou para escrever um blogpost desde fevereiro, mas como vida de programador (pelo menos para mim esse ano) é agitada.

Resolvi falar sobre a performance nesse primeiro blogpost sobre Riak e colocar na mesa um teste (relativamente simples) para compara o tempo de inserção, realmente é um teste simples se tratando de NoSQL.

Antes de mostrar a comparação acho importante deixar claro as vantagens que temos em utilizar Riak:

• Disponibilidade: sistema de recuperação de dados onde trabalha de forma inteligente para que esteja disponível para ler e escrever operações, mesmo em ambiente com falha, assim garantindo a integridade dos dados;
• Tolerância a falhas: pode perder o acesso aos nós (Servidores Riak), devido à falha de rede ou partição de hardware e nunca perder de dados;
• Simplicidade de utilização: facil adição de máquinas em um cluster Riak, sem ocorrer uma carga nos servidores – isso em um pequeno grupo de servidores como uma grande quantidade de servidores Riak;
• Escalabilidade: Riak distribui automaticamente os dados ao redor do cluster e produz um aumento de desempenho quase linear quando você adicionar dados.

Depois de deixar claro os itens acima podemos colocar na messa o Riak e o grande MongoDB, lembrando que esse blogpost não é para falar qual NoSQL é melhor ou para você parar de utilizar um ou outro banco, Riak e MongoDB tem algumas características semelhantes, esse foi o motivo de colocar em teste os dois.

O teste foi simples preciso inserir 1 milhão (1000000) de registro no meu banco de dados, qual banco de dados entrega isso mais rápido para mim?

Código Python usando drive nativo do Riak:

#!/usr/bin/env python

# -*- coding: utf-8 -*-

import riak

client = riak.RiakClient()

bucket = client.bucket('test')

for i in range(0, 1000000):

    person = bucket.new('riak_developer_%d' % i, data={'name': 'Thiago Avelino %d' % i,

                                                       'age': 18+i,

                                                       'language': ['python'],})

Código Python usano drive nativo do MongoDB:

#!/usr/bin/env python

# -*- coding: utf-8 -*-

from pymongo import MongoClient

connection = MongoClient()

db = connection.test

persons = db.persons

for i in range(0, 1000000):

    person = persons.insert({'name': 'Thiago Avelino %d' % i,

                             'age': 18+i,

                             'language': ['python'],})

Um código simples onde faço um loop que vai de 0 a 1000000 (estou fazendo 1000001 inserção), e dentro de cada interação do loop estou gerando um registro no banco de dados. Veja abaixo o resultado:

(riak-test) ~/Sites/riak-test$ time python riak.py

python riak.py  15.60s user 0.14s system 99% cpu 15.850 total

(riak-test) ~/Sites/riak-test$ time python mongodb.py

python mongodb.py  144.14s user 35.47s system 55% cpu 5:25.85 total

Realmente o tempo de execução do Riak é muito mas muito rápido, o que me deixou mais surpreso foi o tempo do MongoDB, o MongoDB demorou 9 vezes mais comparado com o Riak.

Não estou falando que o MongoDB é ruim, ate mesmo que tenho projetos grande em produção usando ele e dependendo do projeto/infra recomendo usar MongoDB.

The post Riak, alta performance NoSQL para seu projeto appeared first on Thiago Avelino.

Plone, por onde começar?

Plone é um CMS (Content management system, ou seja, sistema de gestão de conteúdo), no Brasil muito usado no Governo (saiba mais porque o Governo Brasileiro selecionou Plone como sistema de gestão de conteúdo, palestra do Giuseppe Romagnolli na Plone Symposium).

Por onde começa?

Como estou usando uma maquina Linux vou explicar como subir o Plone em ambiente Unix.

Iremos usar versão 4.2.2 (estável) do Plone, para começa precisamos baixar o source do Plone e descompactar:

$ cd /tmp/
$ wget --no-check-certificate https://launchpad.net/plone/4.2/4.2.2/+download/Plone-4.2.2-UnifiedInstaller.tgz
$ tar -vxf Plone-4.2.2-UnifiedInstaller.tgz
$ cd Plone-4.2.2-UnifiedInstaller

Antes de instalar o Plone precisamos instalar alguns pacote no Linux, como:

• python-distribute
• python-dev
• build-essential
• libssl-dev
• libxml2-dev
• libxslt1-dev
• libbz2-dev
• subversion
• git

$ echo "Instalar biblioteca Python"
$ sudo aptitude install python-distribute python-dev build-essential libssl-dev libxml2-dev libxslt1-dev libbz2-dev
$ echo "Instalar biblioteca de imagem"
$ sudo aptitude install libjpeg62-dev libreadline-gplv2-dev wv poppler-utils python-imaging
$ echo "Instalar controle de versão"
$ sudo aptitude install subversion git

$ ./install.sh standalone

#####################################################################
######################  Installation Complete  ######################
 
Plone successfully installed at /home/avelino/Plone
See /home/avelino/Plone/zinstance/README.html
for startup instructions
 
Use the account information below to log into the Zope Management Interface
The account has full 'Manager' privileges.
 
  Username: admin
  Password: xxxxxxx

This account is created when the object database is initialized. If you change
the password later (which you should!), you'll need to use the new password. 
 
- If you need help, ask the mailing lists or #plone on irc.freenode.net.
- The live support channel also exists at http://plone.org/chat
- You can read/post to the lists via http://plone.org/forums
 
- Submit feedback and report errors at http://dev.plone.org/plone
(For install problems, specify component "Installer (Unified)")
 
avelino@SAO-NT-01072:/tmp/Plone-4.2.2-UnifiedInstaller $

$ cd ~/Plone/zinstance
$ ll
total 600
-rw-------  1 avelino avelino  316 Nov  6 17:53 adminPassword.txt
-rw-------  1 avelino avelino 4161 Nov  6 15:11 base.cfg
drwxr-xr-x  2 avelino avelino    0 Nov  6 17:53 bin
-rw-r--r--  1 avelino avelino 3901 Oct 22 19:16 bootstrap.py
-rw-------  1 avelino avelino 7498 Nov  6 17:52 buildout.cfg
-rw-r--r--  1 avelino avelino 4192 Oct 22 19:16 develop.cfg
drwxr-xr-x  2 avelino avelino    0 Nov  6 15:11 develop-eggs
-rw-r--r--  1 avelino avelino  686 Oct 22 19:16 lxml_static.cfg
drwxr-xr-x  3 avelino avelino    0 Nov  6 17:52 parts
drwxr-xr-x  2 avelino avelino    0 Oct 22 19:16 products
-rw-r--r--  1 avelino avelino 3490 Nov  6 17:53 README.html
drwxr-xr-x  2 avelino avelino    0 Oct 22 19:16 src
drwx------ 10 avelino avelino    0 Nov  6 18:17 var
-rw-r--r--  1 avelino avelino 9112 Oct 22 19:16 versions.cfg
-rw-r--r--  1 avelino avelino 1901 Oct 22 19:16 zopeapp-versions.cfg
-rw-r--r--  1 avelino avelino 1115 Oct 22 19:16 zope-versions.cfg
-rw-r--r--  1 avelino avelino 2517 Oct 22 19:16 ztk-versions.cfg

$ bin/instance fg
2012-11-06 18:59:47 INFO ZServer HTTP server started at Tue Nov  6 18:59:47 2012
	Hostname: 0.0.0.0
	Port: 8080
2012-11-06 18:59:47 INFO Archetypes
2012-11-06 18:59:53 INFO plone.app.theming Patched Zope Management Interface to disable theming.
2012-11-06 19:00:01 INFO Zope Ready to handle requests

The post Plone, por onde começar? appeared first on Thiago Avelino.

Plone para desenvolvedores Python

Sempre que uma pessoa vinha falar de Plone para mim eu não me sentia muito bem pois não conhecia e o pessoal que sempre conversei que desenvolvia em Plone e depois conheceu Django sempre falava que não valia apena mexer com Plone! Será que isso é realmente verdade?

Depois do que eu escutei o pessoal falando eu não queria nem saber desse cara chamado Plone, ate mesmo que para desenvolver uma solução de gerenciamento de conteúdo usando Django não é muito trabalhoso (Realmente era assim que eu pensava, mal eu sabia que estava completamente enganado). Como eu fiz para mudar esse preconceito que tinha?

Realmente para mim mudar esse pensamento foi preciso senta e conhecer a ferramenta, não foi um trabalho muito facil pois como já relatei vim de Django e para mim era preciso subir um ambiente relativamente parecido, mas é Plone e ele roda encima do servidor de aplicação Zope e isso é algo que eu não conhecia (apenas tinha uma ideia do que era mas o que é realmente não sabia) em fim, depois do esforço de conhecer o Zope e Plone achei bacana. Mas achar bacana e colocar em produção é bem diferente.

No começo de agosto assumi um cargo de lider tecnico da tv1.com, eis que surge uma demanda gigantesca pois atendemos muitos sites do Governo Brasileiro, tais como:

• Portal Brasil
• Secom
• Planalto
• Biblioteca da Presidencia
• Emquestão
• entre outros…

Todos os sites é em Plone, e por esse motivo tive que estudar ainda mais do que estava estudando…

Semana passada Liz Leddy e Nejc Zupan (dois desenvolvedores Plone) estava no Brasil para participar do evento Plone Symposium South America e Caipirinha Sprint (um dos melhores sprint que participei).
O sprint foi muito bom fiquei surpreso com a qualidade do código que o Plone tem e como o pessoal leva a escrita de teste unitario e teste funcional a serio, o que posso falar é que 100% do código Plone tem cobertura de teste (se você que ver com os seus proprio olhos aqui explica como rodar os teste com coverage).

Bom o que posso falar mais é que agora sou um core commiter do Plone:

Bom nós desenvolvedores (Python) temos mania de criticar (ter preconceito) ou não ter uma iniciativa para estudar uma nova tecnologia, o que posso falar para essas pessoas (eu realmente sou um desse) é: Conheça para depois tomar suas propria decisão, se você acha que um projeto pode ser mais simples ou melhor em um ponto especifico, não esqueça que você desenvolvedor (Python) tem capacidade de ajudar um projeto open source.

The post Plone para desenvolvedores Python appeared first on Thiago Avelino.

Console colorido usando Node.js

Para quem esta acostumado trabalhar com make para subir um ambiente ou o pessoal que gosta de escrever alguns shell scripts para automação de simples rotinas acho muito importante colocar cor nos retornos do script, isso é ótimo para sinalizar o que realmente o software (ou script) esta fazendo.

Para deixar um retorno colorido usando Node.js não é muito diferente de shell script, pois o que vai processar o retorno é um console bash (zsh ou qual quer outro shell), veja o exemplo abaixo de como deixar um retorno de shell script colorido:

echo -e " \033[0;30m Preto  \033[0m             --> 0;30 "
echo -e " \033[0;31m Vermelho  \033[0m          --> 0;31 "
echo -e " \033[0;32m Verde  \033[0m             --> 0;32 "
echo -e " \033[0;33m Marrom  \033[0m            --> 0;33 "
echo -e " \033[0;34m Azul  \033[0m              --> 0;34 "
echo -e " \033[0;35m Purple  \033[0m            --> 0;35 "
echo -e " \033[0;36m Cyan  \033[0m              --> 0;36 "
echo -e " \033[0;37m Cinza Claro  \033[0m       --> 0;37 "
echo -e " \033[1;30m Preto Acinzentado \033[0m  --> 1;30 "
echo -e " \033[1;31m Vermelho Claro  \033[0m    --> 1;31 "
echo -e " \033[1;32m Verde Claro  \033[0m       --> 1;32 "
echo -e " \033[1;33m Amarelo \033[0m            --> 1;33 "
echo -e " \033[1;34m Azul  Claro \033[0m        --> 1;34 "
echo -e " \033[1;35m Purple Claro  \033[0m      --> 1;35 "
echo -e " \033[1;36m Cyan  Claro \033[0m        --> 1;36 "
echo -e " \033[1;37m Branco  \033[0m            --> 1;37 "

Bom como comentei acima em Node.js não é muito diferente, seja exemplo abaixo:

'use strict';
//// http://avelino.us/2012/07/27/console-colorido-usando-node-js
////

// Retorna o texto em vermelho
console.log("\033[31m Aqui esta o texto em vermelho.")

// Retorna o texto em azul
console.log("\033[34m Aqui esta o texto em vermelho.")

// Volta o padrão do bash
console.log("\033[0m Aqui estamos dando reset nas cores do bash.")


// Criando variavel para deixar um pouco mais simples
var red, blue, reset;
red   = '\u001b[31m';
blue  = '\u001b[34m';
reset = '\u001b[0m';

console.log(red +"Aqui esta o texto em vermelho. "+ blue +"Aqui esta o texto em vermelho. "+ reset +"Aqui estamos dando reset nas cores do bash.")

Perceba que no começo do script estamos usando o “'use strict';“, para não termos problema com o formato loco de color dentro das strings. No exemplo que estamos usando variáveis coloquei as colors em Unicode (eis ai uma problema!).

Porque uso “\u” nos códigos unicode?

Bom realmente eu não entendi muito bem o porque o Node.js trata dessa forma, mas achei uma essa explicação:

Octal literals can be identified by a numeric value starting with a leading 0 (zero). Since this is a source of a possible unintentional octal values when the programmer zero-pads decimal numbers of varying lengths in the source code to make then look prettier and more uniform. The strict mode disallows the octal mode due to this reason.
The ESCape code can be represented in a number of ways. Decimal 27 , Hexadecimal 1B , Octal 33 or Binary 00011011.
So instead of write the ESC code in a string as \033 you can as well just choose one of the other modes. Hexadecimal for instance: \x1B.
In your example you used the two-byte unicode representation of the character \u001b which works just as well.
I’m still an oldschool C head and usually assumes all strings to be plain ASCII so I’d use \x1B by default instead of this newfangled unicode crap Java is using. ^_^

Realmente não é muito produtivo desenvolver dessa forma, mas temos algumas iniciativas open source que pode nos ajudar com o retorno de cores dentro do Node.js.

• cli-color - Mariusz Nowak
• colorize - Matt Patenaude
• sty - Trevor Burnham (Esse projeto aceita você coloca objetos html como marcação)

Todos os projetos acima estão dentro do npm.

The post Console colorido usando Node.js appeared first on Thiago Avelino.