AWS re:Invent 2016
Como já é tradição, acompanhamos de perto o AWS re:Invent 2016 e trazemos um resumo com nossas impressões, além de curiosidades e dicas.
Para os anos anteriores, confira: 2013 , 2014 e 2015.
Detalhes das informações técnicas podem ser encontradas no blog oficial do AWS: https://aws.amazon.com/blogs/aws/ ou canal no Youtube – https://www.youtube.com/user/AmazonWebServices/videos
Disclaimer: os comentários abaixo foram criados pelo Cloud8 e não representam qualquer posição do AWS.
Resumo estratégico
Este ano foi particularmente interessante a começar pela quantidade de novidades lançadas. Foram preenchidas algumas lacunas e houve avanços na gestão de diversos outros produtos.
O destaque principal ficou com a introdução de serviços novos de IA (Inteligência Artificial), IoT (Internet das coisas), BigData, acompanhados pela evolução do Lambda como o engine por trás de muitos dos novos produtos (e, claro, disponível para uso de todos os clientes).
Também ficou claro que o AWS já não precisa mais insistir que cloud computing é realmente o ‘new normal’ no mundo de TI. Já não se fala das vantagens de custos de não se construir ou manter datacenter próprio, da questão da melhoria de segurança e processos, integração com o business, etc. Segundo Andy Jassy, CEO do AWS, os 10 primeiros anos foram gastos convencendo o mercado dos benefícios. Os próximos 10 anos serão para a aproveitar a agilidade e criar inovação. E agilidade é justamente o que se prega como o maior benefício do cloud. Uma empresa de qualquer porte precisa traçar uma estratégia digital e sem a agilidade do cloud é muito mais difícil de executá-la. Em Cloud você “falha” em testes à vontade, com baixo custos e encontra mais facilmente o caminho mais adequado à cultura da sua empresa.
Destaques
– James Hamilton: falou de como é a estrutura interna do AWS, desafios da escala e datacenters – https://www.youtube.com/watch?v=AyOAjFNPAbA
– Alexa: AWS está investindo pesadamente na plataforma de voz do Alexa. Já são mais de 3.000 skills, diversas companhias já integraram suas aplicações e foi lançada uma especialização para parceiros focados – Alexa Partner Program. O reconhecimento de voz (somente inglês por enquanto) evoluiu muito e o entendimento por linguagem natural melhorou também. Construir um skill é relativamente tranquilo – https://www.youtube.com/watch?v=HwHwONzv0HA. No evento, cada participante ganhou um Echo Dot. Ele funciona bem, mas acaba ficando limitado no Brasil quanto a linguagem (inglês) e consequentemente nos skills para a nossa realidade. É difícil saber quando o Alexa irá suportar português. A sinalização é que a Amazon irá expandir o Amazon Videos (e talvez Prime) para mais países e o AWS Polly já suporta vocalização em português. Então, quem sabe o Alexa também faz parte desta estratégia. Curiosidade: Alexa já foi pedida em casamento mais de 250 mil vezes…
– Containers: diversas novidades. Para quem quer rodar Windows em containers, vejam o fim desta apresentação – https://www.youtube.com/watch?v=uTnqMbNTSK8 – onde há uma demonstração de como criar uma aplicação Windows, empacotar em um container e subir para uma imagem Linux dentro Beanstalk. Windows Web rodando em cima de Linux. Houve também o anúncio do Blox, uma nova opção de scheduler para containers – https://www.youtube.com/watch?v=evYcLW3TLcQ – claramente um concorrente do Kubernetes no mesmo modelo de código aberto – https://blox.github.io
– IA: IA é o tópico mundial do momento. O AWS já havia lançado o produto de Machine Learning e agora além de criar a categoria “Artificial Intelligence”, lançou mais 3 produtos complementares: Rekognition, Polly e Lex. O Rekognition identifica imagens (o console tem uma interface excelente onde dá para fazer experiências subindo fotos e vendo a análise que é feita!), Polly vocaliza frases transformando em mp3 e funciona com português (pelo console também dá para fazer diversas experiências) e finalmente o Lex que promote ser o diferencial. O Lex é a mesma tecnologia de reconhecimento de voz e linguagem natural usado no Alexa e pode ser usado para construir aplicações de IA que interajam com os usuários seja por meio de diálogos por voz ou texto – https://www.youtube.com/watch?v=I5OlTMLinio. O AWS também anunciou que está investindo no framework MXNet de Machine Learning – https://www.youtube.com/watch?v=cftJAuwKWkA.
– Dados/BigData: outro tópico bastante abordado e com várias novidades. Os dados de uma empresa são estratégicos. Dados bem sanitizados e de alta qualidade são diferenciais competitivos. Sabemos que se gasta muito tempo preparando os dados antes das análises. As vezes até mais tempo que a análise em si. Com isto em mente, o AWS quer facilitar o carregamento dos dados e liberar o tempo para análise. A primeira ferramenta que ajuda neste contexto é o Amazon Athena – https://www.youtube.com/watch?v=DxAuj_Ky5aw. Basicamente é uma interface de queries ad-hoc em sintaxe SQL que acessa diretamente arquivos no S3, como logs de apache, LB, etc e permite que se criem consultas em tempo real sem a necessidade de carregar estes dados em mais um banco de dados. Outro produto lançado para gerenciar todo o ciclo de descobrimento, mudanças e carregamento de dados é o AWS Glue. Como o próprio nome diz, ele é uma camada de gestão de dados que ‘cola’ todo o processo: descobre data sources (inclusive fora do AWS), carrega os dados, cria jobs para fazer o carregamento automático e periódico, etc
– IoT: Eu assisti a uma palestra particularmente interessante do ponto de vista das possibilidades de integração da plataforma AWS – https://www.youtube.com/watch?v=wioIg1G3_yI. Para quem tem interesse em IoT, Robotica, mundos virtuais, etc vale a pena. Resumidamente, a apresentação usa um robozinho esférico controlado por bluetooth e integra em diversos níveis: Edison da Intel servindo como ponte para a Internet e enviando mensagem para um IoT bus, um Raspberry PI para consumir as mensagens e dar ‘voz’ ao robot, Alexa para comandá-lo por comandos de voz, Lumberyard para comandá-lo através de um mundo virtual! Por fim, ainda se falou de realidade aumentada e do que está se fazendo nesta área. Muito bacana conhecer sobre o framework da ThingWorx – vuforia e ver o potencial deste tipo de tecnologia.
– Aurora: o Aurora é o banco corporativo do AWS para competir com os grandes de mercado. A versão existente é compatível com o MySQL. Dado a repercussão positiva do último ano por conta do número de migrações e pedidos dos clientes, o AWS lançou a versão PostgreSQL do Aurora. As mesmas características suportando o protocolo e sintaxe do Postgresql – https://www.youtube.com/watch?v=YvHCn3rxW_k
– Transporte de dados: o AWS possui um device de transporte de dados entre datacenters e o AWS. Ele se chama ‘Snowball’ e basicamente é uma caixa segura e encriptada com 100 TB de capacidade para levar os dados. O AWS gosta de repetir que não dá para subestimar a velocidade de transporte de dados por meio físico (imagine 100 TB viajando 1000km a 100km/h e 100TB transitando por um link otimista de 10Gbps). Uma nova versão de snowball foi criada – o Snowball Edge que já pode pré-processar dados à medida que eles vão sendo carregados (compactar, converter, modificar, etc) usando funções Lambda. E se imaginar que 100 TB já seria um tamanho suficiente, o AWS mostrou que existem clientes com a necessidade de migrar petabytes de dados. Uma migração deste porte via link normal demoraria décadas (sic) ou exigiria centenas de snowball. Para resolver este problema, eles criaram um caminhão chamado SnowMobile que tem a capacidade de 100 PB! E assim permite que se migre em semanas, o que levaria estes anos todos. No momento da apresentação do produto, um caminhão entrou no palco . Aposto que todos pensaram que era um tipo de piada, mas depois ficou claro que era verdade…
– Gerenciamento de aplicações: o AWS preencheu algumas lacunas de produtos ao lançar um serviço de automação do Chef (para OpsWorks), o EC2 System manager que gerencia pacotes, patches, compliance, etc (precisa ter IAM Role nas instâncias e o SSM Agent instalado em Linux e Windows – o Cloud8 suporta o agendamento de workflows customizados que junto com este novo serviço incrementa a gestão de suas instâncias) – https://www.youtube.com/watch?v=2ZqmRSIqQ6Q, o AWS Code Builder que compila e roda testes unitários sendo gerenciado pelo CodePipeline e complementando o ciclo de criação de software junto com o CodeCommit e o CodeDeploy. Por fim, foi lançado também o AWS X-Ray que ajuda no debug e análise de aplicações distribuidas. Este serviço ainda está em preview e vai ficar mais claro como fazer o trace de uma requisição no futuro;
– Lambda: lambda is everywhere! O suporte a C# foi bastante comemorado (com a ajuda do suporte de containers para Windows). Quando se começa a entender a extensão dos produtos e a escala do AWS, fica mais transparente o investimento que estão fazendo no Lambda. Seria inviável criar e rodar a quantidade de serviços e features novas se tivessem que depender somente de instâncias. O Lambda para processamento distribuido e encapsulamento de funções é perfeito para esta tarefa. E além da expansão do suporte a mais linguagens, o Lambda começa a sair do Cloud e ir para hardware (lembram do Snowball Edge?). O AWS lançou o Greengrass que é um encapsulamento do mesmo Lambda que rodaria no cloud para um device (IoT) pré-processar dados localmente. Além do Greengrass, também é possível executar pequenos lambdas no CloudFront na primeira chamada de um arquivo e assim diminuindo a necessidade de ficar retornando chamadas para os servidores quando a requisição exige uma transformação trivial. Por fim, o AWS lançou uma linguagem (States) para máquinas de estados com Lambda, isto é, criar um workflow de funções Lambdas que se chamam entre si para executar uma tarefa mais complexa que um único Lambda. Este recurso expande o Lambda para atender requisições de negócio mais complexas e ajuda no debug que é considerado uma parte difícil de se mexer com serverless – https://www.youtube.com/watch?v=CwxWhyGteNc.
– Segurança: o melhor desta área foi ouvir que estão bastante empenhados em coibir DDOS. Lançaram um produto chamado AWS Shield que está habilitado por default para todos os clientes e evita os ataques DDOS mais comuns. Para ataques de escala enorme e mais sofisticado, há o serviço de AWS Shield Edge, onde os times do AWS são envolvidos e usando diversos produtos como Route53, LB, WAF, etc vão ajudar a mitigar o ataque – https://www.youtube.com/watch?v=R06GDQBbtRU. Falou-se muito de compliance (continuous compliance) usando AWS Config para checar se o cloud obedece determinadas regras pré-estabelecidas – https://www.youtube.com/watch?v=3afx_t7xxG4.
– Novos tipos de instâncias: anunciado as novas instancias R4 (+ memória – já disponível), I3 (+ I/O – até 3 milhões de IOPS! – em 2017), C5 (+ cpu – em 2017). A família T2 foi expandida para t2.xlarge e t2.2xlarge. Instâncias do tipo t2, m4 e c4 tiveram redução de custos (o Cloud8 já reflete os valores – note que cada vez mais fica vantajoso usar os tipos novos em comparação com custos dos antigos tipos t1, m1 e c3! – compare https://app.cloud8.com.br/?url=/main%23ws=awspri).
– GPU: com a explosão dos algoritmos de machine learning usando GPU, o AWS decidiu deixar o seu uso mais acessível – não é preciso mais contratar uma instância do tipo GPU. Pode-se ‘conectar’ GPUs ao seu servidor, usá-las e cobradas por hora e depois descartá-las (como se fosse um disco). É o novo conceito de ‘Elastic GPU’. Amazon Workspaces também terá instâncias com GPU.
– FPGA: suporte a chips usados em hardware acceleration. Você codifica uma rotina e ela vai embutida no hardware, sendo executada com mais velocidade – https://www.youtube.com/watch?v=Ktbhp_xkzhU. Impressionante notar o nível de customização que está migrando para cloud – não vai sobrar nada para rodar on premise! (lembrando que os tokens criptográficos já foram para a nuvem já faz um tempo… – https://aws.amazon.com/cloudhsm/).
– Conteúdo: o AWS lançou mais um whitepaper – AWS Well Architected Framework (http://d0.awsstatic.com/whitepapers/architecture/AWS_Well-Architected_Framework.pdf) . Vale conferir.
– Amazon LightSail: versão VPS do AWS. É uma ‘produtização’ do EC2 com o objetivo de competir com outros provedores VPS (pelo nome dá para perceber com quem eles estão brigando…), reusando todas as características técnicas mas com custo fixo (sem as vantagens – ou desvantagens – de se anexar discos extras, parar/iniciar instancias para economia, etc). É possível integrar o VPS com outros produtos fazendo o peering da VPC escondida em que o VPS se encontra.
– VMWare: a aproximação do AWS e VMWare é grande e está sendo executada – https://www.youtube.com/watch?v=_Rqv5Gg1VSk
– Outros: o AWS ainda lançou um serviço para facilitar o gerenciamento de batchs para processos longos e que podem utilizar Spot Instances – o AWS Batch, um serviço de notificações para celular – Pinpoint, um dashboard personalizado de eventos que parece ser uma repaginação do Trust Advisor, Appstream 2.0, Storage Gateway expõe arquivos no formato do S3 e vai além do backup de discos inteiros, novas opções para o S3, suporte a IPv6 no EC2 para VPC, Marketplace integrando com AWS Gateway com possibilidade de fazer billing customizado de seus produtos (micromonetization) e Windows 10 no Workspaces.
Enfim, novas oportunidades foram criadas e mais desafios para o dia a dia de todos.
Contem com o Cloud8 para ajudá-los neste ônus administrativo e de automação, bem como tirar vantagem da atualização constante da nossa plataforma!
Fiquem à vontade para compartilhar este email! Dúvidas, críticas ou sugestões, entre em contato.
Obrigado
Renato
CIO/Founder
Conheça o Cloud8! Acesse nossa calculadora e simule o seu cenário, ou crie sua conta para um teste de 15 dias sem compromisso clicando aqui.
