O primeiro beta-test do novo sistema de avaliação de propostas de palestras para o fisl11 encerrou quarta-feira(3/3), com 11 dias de antecedência do prazo previsto.
A avaliação da equipe da Propus, empresa responsável pelo desenvolvimento do sistema, foi muito positiva.
No beta-test foi utilizada a base de dados de propostas do FISL10 assim como os avaliadores. Foi dado o direito à 15 avaliações por pessoa. No total, os 315 avaliadores distintos efetuaram 3040 avaliações, ordenando as 609 palestras em um ranking, que pode ser visualizado em http://verdi.softwarelivre.org/swiss_papers/tournament/table
O sistema se baseou no modelo de campeonato suíço e funcionou de maneira simples: Ao avaliador foi apresentada uma "partida", que consistia de duas palestras escolhidas pelo sistema. O avaliador escolheu qual das duas palestras ele preferiria que fosse apresentada no fórum - sendo possível dizer "tanto faz". A escolha então foi computada pelo sistema, dando pontos à palestra escolhida em um ranking, usado posteriormente para definir as próximas partidas.
A organização do evento informa que ainda serão realizados mais testes nos próximos dias.
Veja a entrevista com a Felipe Mobus da Propus.
Qual a avalição de vocês sobre o Beta Test?
Nossa avaliação foi muito positiva. O público participou numa velocidade maior do que estimávamos, resultando que o teste acabou em pouco mais de 24 horas. Pelo que coletamos no twitter, o público gostou do conceito, embora tenham sentido um pouco de lentidão no sistema. Já estamos trabalhando para resolver o problema da lentidão.
Durante o beta test teve muitos bugs?
Tirando a lentidão, teve uma incompatibilidade de javascript com o navegador Ópera, que estará sanada já no próximo teste
Por que terão que fazer mais testes?
Queremos aproveitar o tempo que temos para inserir mais algumas refinamentos que surgiram, e para ter certeza que a performance será aceitável.
Com relação a tabela, até que score pode ser selecionada para o Fisl?
Isso depende de vários fatores: número de vagas na grade, oferecida para as palestras, quantas salas, quantos horários serão alocados, quantos desses espaços serão usados por coisas que não serão propostas (convidados, keynotes, patrocinadores, eventos comunitários, etc). Além disso, as palestras serão, ao fim do processo, classificadas dentro de suas trilhas para então serem selecionadas, ie. teremos cotas para cada trilha. Quantos espaços
serão destinados a cada trilha ainda não foi decidido - mas uma das ideias seria que o espaço na grade fosse proporcional à distribuição das trilhas nas palestras propostas.
Com relação aos maiores score, que tipo de avaliação se pode fazer sobre as tendências da escolha dos participantes em termos de relevância?
Estamos estudando essas informações ainda. Mas me pareceu uma boa seleção de palestras, com prioridade para assuntos técnicos e atuais.
No caso de estar valendo, o que se pode avaliar deste processo?
Se a organização optar por esse sistema, eu acredito que vai incrementar muito à qualidade do evento, trazendo-o ainda mais para perto do público.
