Repository navigation
Expand file tree
/
Copy pathindex.html
More file actions
2955 lines (1892 loc) · 160 KB
/
Copy pathindex.html
File metadata and controls
2955 lines (1892 loc) · 160 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
853
854
855
856
857
858
859
860
861
862
863
864
865
866
867
868
869
870
871
872
873
874
875
876
877
878
879
880
881
882
883
884
885
886
887
888
889
890
891
892
893
894
895
896
897
898
899
900
901
902
903
904
905
906
907
908
909
910
911
912
913
914
915
916
917
918
919
920
921
922
923
924
925
926
927
928
929
930
931
932
933
934
935
936
937
938
939
940
941
942
943
944
945
946
947
948
949
950
951
952
953
954
955
956
957
958
959
960
961
962
963
964
965
966
967
968
969
970
971
972
973
974
975
976
977
978
979
980
981
982
983
984
985
986
987
988
989
990
991
992
993
994
995
996
997
998
999
1000
<!DOCTYPE html>
<!--[if IEMobile 7 ]><html class="no-js iem7"><![endif]-->
<!--[if lt IE 9]><html class="no-js lte-ie8"><![endif]-->
<!--[if (gt IE 8)|(gt IEMobile 7)|!(IEMobile)|!(IE)]><!--><html class="no-js" lang="en"><!--<![endif]-->
<head>
<meta charset="utf-8">
<title>1up4developers</title>
<meta name="author" content="1up4developers">
<meta name="description" content="Amigos, este blog será encerrado no final deste mês :( Desde 2008 vínhamos compartilhando nossas aventuras e experiências no maravilhoso mundo da …">
<!-- http://t.co/dKP3o1e -->
<meta name="HandheldFriendly" content="True">
<meta name="MobileOptimized" content="320">
<meta name="viewport" content="width=device-width, initial-scale=1">
<link rel="canonical" href="http://1up4dev.org/">
<link href="/favicon.ico" rel="icon">
<link href="/stylesheets/screen.css" media="screen, projection" rel="stylesheet" type="text/css">
<script src="/javascripts/modernizr-2.0.js"></script>
<script src="/javascripts/ender.js"></script>
<script src="/javascripts/octopress.js" type="text/javascript"></script>
<link href="http://feeds.feedburner.com/1up4developers" rel="alternate" title="1up4developers" type="application/atom+xml">
<!--Fonts from Google"s Web font directory at http://google.com/webfonts -->
<link href="http://fonts.googleapis.com/css?family=PT+Serif:regular,italic,bold,bolditalic" rel="stylesheet" type="text/css">
<link href="http://fonts.googleapis.com/css?family=PT+Sans:regular,italic,bold,bolditalic" rel="stylesheet" type="text/css">
<script type="text/javascript">
var _gaq = _gaq || [];
_gaq.push(['_setAccount', 'UA-6134014-1']);
_gaq.push(['_trackPageview']);
(function() {
var ga = document.createElement('script'); ga.type = 'text/javascript'; ga.async = true;
ga.src = ('https:' == document.location.protocol ? 'https://ssl' : 'http://www') + '.google-analytics.com/ga.js';
var s = document.getElementsByTagName('script')[0]; s.parentNode.insertBefore(ga, s);
})();
</script>
</head>
<body >
<header role="banner"><hgroup>
<img src="/images/logo-1up-small.png" style="float: left; margin-top: 11px; margin-right: 30px;" alt="1up4developers logo">
<h1><a href="/">1up4developers</a></h1>
<h2>Nadando contra o Waterfall. tail -f /mind/realworld >> /blog</h2>
</hgroup>
</header>
<nav role="navigation"><ul class="subscription" data-subscription="rss">
<li><a href="http://feeds.feedburner.com/1up4developers" rel="subscribe-rss" title="subscribe via RSS">RSS</a></li>
</ul>
<form action="http://google.com/search" method="get">
<fieldset role="search">
<input type="hidden" name="q" value="site:1up4dev.org" />
<input class="search" type="text" name="q" results="0" placeholder="Search"/>
</fieldset>
</form>
<ul class="main-navigation">
<li><a href="/">Blog</a></li>
<li><a href="/blog/archives">Archives</a></li>
</ul>
</nav>
<div id="main">
<div id="content">
<div class="blog-index">
<article>
<header>
<h1 class="entry-title"><a href="/2016/07/encerramento-do-blog/">Encerramento Do Blog</a></h1>
<p class="meta">
<time datetime="2016-07-08T12:00:00-03:00" pubdate data-updated="true">Jul 8<span>th</span>, 2016</time>
|
<span class="byline author vcard">Posted by <span class="fn"><a class='author' href='/author/rodrigopanachi/'>Rodrigo Panachi</a></span></span>
| <a href="/2016/07/encerramento-do-blog/#disqus_thread">Comments</a>
</p>
<br/>
<div class="sharing">
<a href="http://twitter.com/share" class="twitter-share-button" data-url="http://1up4dev.org/2016/07/encerramento-do-blog/" data-text="Encerramento do blog" data-via="1up4dev" data-counturl="http://1up4dev.org/2016/07/encerramento-do-blog/" >Tweet</a>
<div class="g-plusone" data-size="medium" data-href="http://1up4dev.org/2016/07/encerramento-do-blog/"></div>
<div class="fb-like" data-send="true" data-width="450" data-show-faces="false" data-url="http://1up4dev.org/2016/07/encerramento-do-blog/"></div>
</div>
</header>
<div class="entry-content"><p>Amigos, este blog será encerrado no final deste mês :(</p>
<p>Desde 2008 vínhamos compartilhando nossas aventuras e experiências no maravilhoso mundo da programação. Aprendemos muito com esta trajetória, com os comentários que vocês leitores fizeram e com as oportunidades que surgiram através do blog.</p>
<p>Foi uma etapa muito importante e proveitosa em nossas carreiras, mas este ciclo chegou ao fim. E este é o momento de iniciar um novo ciclo em nossas carreiras.</p>
<p>O blog será encerrado, mas continuaremos compartilhando nossas experiências no Twitter, Medium e nos blogs pessoais de cada autor.</p>
<p>Aqui estão nossos feeds de conteúdo agile a partir do próximo mês:</p>
<h3>Rodrigo Panachi</h3>
<ul>
<li><a href="http://rpanachi.com">http://rpanachi.com</a></li>
<li><a href="https://medium.com/@rpanachi">https://medium.com/@rpanachi</a></li>
<li><a href="https://twitter.com/rpanachi">https://twitter.com/rpanachi</a></li>
</ul>
<h3>Roger Leite</h3>
<ul>
<li><a href="https://medium.com/@rogerleite">https://medium.com/@rogerleite</a></li>
<li><a href="https://twitter.com/rogerleite">https://twitter.com/rogerleite</a></li>
</ul>
<h3>Plinio Balduino</h3>
<ul>
<li><a href="https://medium.com/@pbalduino">https://medium.com/@pbalduino</a></li>
<li><a href="http://twitter.com/p_balduino">http://twitter.com/p_balduino</a></li>
</ul>
<h3>Tony Fabeen</h3>
<ul>
<li><a href="https://medium.com/@tonyfabeen">https://medium.com/@tonyfabeen</a></li>
<li><a href="https://twitter.com/tonyfabeen">https://twitter.com/tonyfabeen</a></li>
</ul>
<h3>Miguel Horlle</h3>
<ul>
<li><a href="https://twitter.com/miguelbaldi">https://twitter.com/miguelbaldi</a></li>
</ul>
<h3>Humberto Bulhões</h3>
<ul>
<li><a href="https://twitter.com/01berto">https://twitter.com/01berto</a></li>
</ul>
<h3>Rogério Ramos</h3>
<ul>
<li><a href="https://medium.com/@habutre">https://medium.com/@habutre</a></li>
<li><a href="https://twitter.com/habutre">https://twitter.com/habutre</a></li>
</ul>
<p>Continue nadando contra o waterfall e até a proxima. Sucesso!</p>
</div>
</article>
<article>
<header>
<h1 class="entry-title"><a href="/2015/02/type-hints-no-clojure-parte-2/">Type Hints No Clojure - Parte 2</a></h1>
<p class="meta">
<time datetime="2015-02-02T17:14:00-02:00" pubdate data-updated="true">Feb 2<span>nd</span>, 2015</time>
|
<span class="byline author vcard">Posted by <span class="fn"><a class='author' href='/author/pbalduino/'>Plínio Balduino</a></span></span>
| <a href="/2015/02/type-hints-no-clojure-parte-2/#disqus_thread">Comments</a>
</p>
<br/>
<div class="sharing">
<a href="http://twitter.com/share" class="twitter-share-button" data-url="http://1up4dev.org/2015/02/type-hints-no-clojure-parte-2/" data-text="Type hints no Clojure - Parte 2" data-via="1up4dev" data-counturl="http://1up4dev.org/2015/02/type-hints-no-clojure-parte-2/" >Tweet</a>
<div class="g-plusone" data-size="medium" data-href="http://1up4dev.org/2015/02/type-hints-no-clojure-parte-2/"></div>
<div class="fb-like" data-send="true" data-width="450" data-show-faces="false" data-url="http://1up4dev.org/2015/02/type-hints-no-clojure-parte-2/"></div>
</div>
</header>
<div class="entry-content"><p>Parte 1: <a href="http://1up4dev.org/2015/01/type-hints-no-clojure-parte-1">http://1up4dev.org/2015/01/type-hints-no-clojure-parte-1</a></p>
<h2>Quando otimizar</h2>
<p>Não adianta sair adicionando <em>type hints</em> no código sem critério. A primeira coisa a ser feita é detectar onde estão os gargalos, os pontos que consomem mais recursos sem trazer resultados imediatos utilizando uma boa ferramenta de ::profiling::.</p>
<p>Uma vez que você localize os pontos lentos da aplicação, adicione a seguinte linha no início do seu código:</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
</pre></td><td class='code'><pre><code class='clojure'><span class='line'><span class="p">(</span><span class="nf">set!</span> <span class="nv">*warn-on-reflection*</span> <span class="nv">true</span><span class="p">)</span>
</span></code></pre></td></tr></table></div></figure>
<p>Agora o compilador vai nos avisar toda vez que for obrigado a usar <em>reflection</em> para invocar um método ou acessar um membro.</p>
<p>Vamos usar a nossa função <code>upper-case</code> para detectar os pontos que podem ser otimizados com <em>type hinting</em>.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
</pre></td><td class='code'><pre><code class='clojure'><span class='line'><span class="p">(</span><span class="nf">set!</span> <span class="nv">*warn-on-reflection*</span> <span class="nv">true</span><span class="p">)</span>
</span><span class='line'>
</span><span class='line'><span class="p">(</span><span class="kd">defn </span><span class="nv">upper-case</span> <span class="p">[</span><span class="nv">text</span><span class="p">]</span>
</span><span class='line'> <span class="p">(</span><span class="nf">.toUpperCase</span> <span class="nv">text</span><span class="p">))</span>
</span><span class='line'><span class="c1">; Reflection warning, NO_SOURCE_PATH:2:3 - reference to field </span>
</span><span class='line'><span class="c1">; toUpperCase can't be resolved.</span>
</span><span class='line'><span class="c1">; #'user/upper-case</span>
</span></code></pre></td></tr></table></div></figure>
<p>Essa é a mensagem do compilador nos avisando que não sabe que tipo contém o método <code>toUpperCase</code>. Como estamos usando <code>toUpperCase</code> em <code>text</code>, vamos adicionar o <em>type hint</em> nele.</p>
<p>Perceba que o erro ocorreu durante a compilação da função, e não durante sua execução. Lembre-se que todo código executado já foi compilado em algum momento, incluindo o código que escrevemos no <em>REPL</em>.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
</pre></td><td class='code'><pre><code class='clojure'><span class='line'><span class="p">(</span><span class="kd">defn </span><span class="nv">upper-case-2</span> <span class="p">[</span><span class="o">^</span><span class="nv">String</span> <span class="nv">text</span><span class="p">]</span>
</span><span class='line'> <span class="p">(</span><span class="nf">.toUpperCase</span> <span class="nv">text</span><span class="p">))</span>
</span><span class='line'><span class="c1">; #'user/upper-case-2</span>
</span><span class='line'>
</span><span class='line'><span class="p">(</span><span class="nf">upper-case-2</span> <span class="s">"umba umba umba ê"</span><span class="p">)</span>
</span><span class='line'><span class="c1">; "UMBA UMBA UMBA Ê"</span>
</span></code></pre></td></tr></table></div></figure>
<p>Sem erros nem avisos, resolvemos a questão do <em>reflection</em> na expressão.</p>
<p>Falamos sobre otimização e gargalos mas não mostramos na prática o que isso significa.</p>
<p>Vamos posicionar as duas funções, com e sem <em>type hint</em> e executar uma iteração apresentando o tempo gasto com cada versão.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
<span class='line-number'>8</span>
<span class='line-number'>9</span>
<span class='line-number'>10</span>
<span class='line-number'>11</span>
<span class='line-number'>12</span>
<span class='line-number'>13</span>
<span class='line-number'>14</span>
<span class='line-number'>15</span>
</pre></td><td class='code'><pre><code class='clojure'><span class='line'><span class="p">(</span><span class="kd">defn </span><span class="nv">upper-case</span> <span class="p">[</span><span class="nv">texto</span><span class="p">]</span>
</span><span class='line'> <span class="p">(</span><span class="nf">.toUpperCase</span> <span class="nv">texto</span><span class="p">))</span>
</span><span class='line'><span class="c1">; Reflection warning, NO_SOURCE_PATH:2:3 - reference to field </span>
</span><span class='line'><span class="c1">; toUpperCase can't be resolved.</span>
</span><span class='line'><span class="c1">; #'user/upper-case</span>
</span><span class='line'>
</span><span class='line'><span class="p">(</span><span class="kd">defn </span><span class="nv">upper-case-2</span> <span class="p">[</span><span class="o">^</span><span class="nv">String</span> <span class="nv">texto</span><span class="p">]</span>
</span><span class='line'> <span class="p">(</span><span class="nf">.toUpperCase</span> <span class="nv">texto</span><span class="p">))</span>
</span><span class='line'><span class="c1">; #'user/upper-case-2</span>
</span><span class='line'>
</span><span class='line'><span class="p">(</span><span class="nb">time </span><span class="p">(</span><span class="nb">dotimes </span><span class="p">[</span><span class="nv">_</span> <span class="mi">100000</span><span class="p">]</span> <span class="p">(</span><span class="nf">upper-case</span> <span class="s">"mandarina"</span><span class="p">)))</span>
</span><span class='line'><span class="c1">; "Elapsed time: 327.720765 msecs"</span>
</span><span class='line'>
</span><span class='line'><span class="p">(</span><span class="nb">time </span><span class="p">(</span><span class="nb">dotimes </span><span class="p">[</span><span class="nv">_</span> <span class="mi">100000</span><span class="p">]</span> <span class="p">(</span><span class="nf">upper-case-2</span> <span class="s">"mandarina"</span><span class="p">)))</span>
</span><span class='line'><span class="c1">; "Elapsed time: 55.403849 msecs"</span>
</span></code></pre></td></tr></table></div></figure>
<p>Nesse nosso exemplo simples o processamento ficou de seis a sete vezes mais rápido.</p>
<p><em>(Trecho do meu livro “Clojure: Programação Funcional Descomplicada para a JVM”, a ser publicado em breve)</em></p>
</div>
</article>
<article>
<header>
<h1 class="entry-title"><a href="/2015/01/type-hints-no-clojure-parte-1/">Type Hints No Clojure - Parte 1</a></h1>
<p class="meta">
<time datetime="2015-01-31T21:14:00-02:00" pubdate data-updated="true">Jan 31<span>st</span>, 2015</time>
|
<span class="byline author vcard">Posted by <span class="fn"><a class='author' href='/author/pbalduino/'>Plínio Balduino</a></span></span>
| <a href="/2015/01/type-hints-no-clojure-parte-1/#disqus_thread">Comments</a>
</p>
<br/>
<div class="sharing">
<a href="http://twitter.com/share" class="twitter-share-button" data-url="http://1up4dev.org/2015/01/type-hints-no-clojure-parte-1/" data-text="Type hints no Clojure - Parte 1" data-via="1up4dev" data-counturl="http://1up4dev.org/2015/01/type-hints-no-clojure-parte-1/" >Tweet</a>
<div class="g-plusone" data-size="medium" data-href="http://1up4dev.org/2015/01/type-hints-no-clojure-parte-1/"></div>
<div class="fb-like" data-send="true" data-width="450" data-show-faces="false" data-url="http://1up4dev.org/2015/01/type-hints-no-clojure-parte-1/"></div>
</div>
</header>
<div class="entry-content"><p>Parte 2: <a href="http://1up4dev.org/2015/02/type-hints-no-clojure-parte-2">http://1up4dev.org/2015/02/type-hints-no-clojure-parte-2</a></p>
<h2>Otimizando com type hints</h2>
<p>Por padrão você não informa os tipos dos dados ao Clojure. Internamente o dado vai ser tratado como <code>Object</code>, que é a classe base de qualquer objeto Java.</p>
<p>Qualquer método ou propriedade que você invocar desse objeto será localizado e chamado através de <em>reflection</em>. No Java, <em>reflection</em> é a capacidade de acessar métodos e membros de um objeto ou classe através de metaprogramação.</p>
<p>Exemplificando, esse código Clojure:</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
</pre></td><td class='code'><pre><code class='clojure'><span class='line'><span class="p">(</span><span class="kd">defn </span><span class="nv">upper-case</span> <span class="p">[</span><span class="nv">text</span><span class="p">]</span>
</span><span class='line'> <span class="p">(</span><span class="nf">.toUpperCase</span> <span class="nv">text</span><span class="p">))</span>
</span><span class='line'>
</span><span class='line'><span class="p">(</span><span class="nf">upper-case</span> <span class="s">"umba umba umba ê"</span><span class="p">)</span>
</span><span class='line'><span class="c1">; "UMBA UMBA UMBA Ê"</span>
</span></code></pre></td></tr></table></div></figure>
<p>Vai ser transformado em algo equivalente a isso:</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
<span class='line-number'>8</span>
<span class='line-number'>9</span>
</pre></td><td class='code'><pre><code class='java'><span class='line'><span class="kd">public</span> <span class="n">Object</span> <span class="nf">invoke</span><span class="o">(</span><span class="n">Object</span> <span class="n">par01</span><span class="o">)</span> <span class="o">{</span>
</span><span class='line'> <span class="k">return</span> <span class="o">(</span><span class="n">Object</span><span class="o">)(</span><span class="n">par01</span>
</span><span class='line'> <span class="o">.</span><span class="na">getClass</span><span class="o">()</span>
</span><span class='line'> <span class="o">.</span><span class="na">getDeclaredMethod</span><span class="o">(</span><span class="s">"toUpperCase"</span><span class="o">,</span> <span class="kc">null</span><span class="o">)</span>
</span><span class='line'> <span class="o">.</span><span class="na">invoke</span><span class="o">(</span><span class="n">par01</span><span class="o">));</span>
</span><span class='line'><span class="o">}</span>
</span><span class='line'>
</span><span class='line'><span class="o">(</span><span class="k">new</span> <span class="n">user$upper_case</span><span class="o">()).</span><span class="na">invoke</span><span class="o">(</span><span class="s">"umba umba umba ê"</span><span class="o">);</span>
</span><span class='line'><span class="c1">// "UMBA UMBA UMBA Ê"</span>
</span></code></pre></td></tr></table></div></figure>
<p>Eu disse <em>equivalente</em> porque o seu código Clojure vai ser compilado diretamente para <em>bytecode</em> ao invés de ser convertido primeiro para código Java.</p>
<p>Como podemos notar, além de termos que invocar três métodos para fazer a chamada de um e termos que fazer <em>typecasting</em> – ou <em>coerção de tipos</em>, se preferir – para que tudo seja tratado como <code>Object</code>, o próprio processo de <em>reflection</em> é lento por si só.</p>
<p>Note como informamos o nome do método <code>toUpperCase</code> como um texto. Com isso o método <code>getDeclaredMethod</code> vai pesquisar uma tabela interna daquela objeto comparando cada nome de método até encontrar o que procuramos.</p>
<p>Para ajudar, como o Clojure não tem a mais remota ideia do que queremos transformar em letras maiúsculas, a função aceita qualquer coisa.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
</pre></td><td class='code'><pre><code class='clojure'><span class='line'><span class="p">(</span><span class="nf">upper-case</span> <span class="mf">3.14159</span><span class="p">)</span>
</span><span class='line'><span class="c1">; IllegalArgumentException No matching field found: toUpperCase for </span>
</span><span class='line'><span class="c1">; class java.lang.Double</span>
</span></code></pre></td></tr></table></div></figure>
<p><em>Ah, então o compilador do Clojure é mal feito?</em></p>
<p>Não. Acontece algo muito parecido quando escrevemos código JavaScript, Ruby, Python ou qualquer outra linguagem dinâmica para a JVM. Como você não informou o tipo, o compilador tem que adivinhar ou confiar cegamente no que você está dizendo.</p>
<p>Porém, existe uma forma de diminuir essa trabalheira toda dando dicas ao compilador sobre o tipo de dado que ele deve utilizar. Essas dicas chamam-se <em>type hints</em>, ou dicas de tipos.</p>
<p>Mas atenção: que fique claro que estamos dando dicas ao compilador ao invés de declararmos estaticamente o tipo de dados que estamos utilizando.</p>
<p>Podemos reescrever nosso código dessa forma para que o compilador receba nossas dicas:</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
</pre></td><td class='code'><pre><code class='clojure'><span class='line'><span class="p">(</span><span class="kd">defn </span><span class="nv">upper-case</span> <span class="p">[</span><span class="o">^</span><span class="nv">String</span> <span class="nv">text</span><span class="p">]</span>
</span><span class='line'> <span class="p">(</span><span class="nf">.toUpperCase</span> <span class="nv">text</span><span class="p">))</span>
</span><span class='line'>
</span><span class='line'><span class="p">(</span><span class="nf">upper-case</span> <span class="s">"umba umba umba ê"</span><span class="p">)</span>
</span><span class='line'><span class="c1">; "UMBA UMBA UMBA Ê"</span>
</span></code></pre></td></tr></table></div></figure>
<p>Se tentarmos passar qualquer coisa diferente de <code>String</code>, a JVM vai reclamar na mesma hora.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
</pre></td><td class='code'><pre><code class='clojure'><span class='line'><span class="p">(</span><span class="nf">upper-case</span> <span class="mf">3.14159</span><span class="p">)</span>
</span><span class='line'><span class="c1">; ClassCastException java.lang.Double cannot be cast to </span>
</span><span class='line'><span class="c1">; java.lang.String user/upper-case (NO_SOURCE_FILE:2)</span>
</span></code></pre></td></tr></table></div></figure>
<p>Aí você pensa <em>ah, tá. era para ter passado <code>String</code> e passei <code>Double</code></em>. Bonito, não?</p>
<p>Mas não é só isso. Ao usar <em>type hints</em> você ainda leva uma otimização de código totalmente de graça.</p>
<p>O <em>bytecode</em> gerado fica equivalente a esse código Java:</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
</pre></td><td class='code'><pre><code class='java'><span class='line'><span class="kd">public</span> <span class="n">Object</span> <span class="nf">invoke</span><span class="o">(</span><span class="n">Object</span> <span class="n">par01</span><span class="o">)</span> <span class="o">{</span>
</span><span class='line'> <span class="k">return</span> <span class="o">((</span><span class="n">String</span><span class="o">)</span><span class="n">par01</span><span class="o">).</span><span class="na">toUpperCase</span><span class="o">();</span>
</span><span class='line'><span class="o">}</span>
</span><span class='line'>
</span><span class='line'><span class="o">(</span><span class="k">new</span> <span class="n">user$upper_case</span><span class="o">()).</span><span class="na">invoke</span><span class="o">(</span><span class="s">"umba umba umba ê"</span><span class="o">);</span>
</span><span class='line'><span class="c1">// "UMBA UMBA UMBA Ê"</span>
</span></code></pre></td></tr></table></div></figure>
<p>Se você imaginou que o código, além de menor, também ficou mais rápido, acertou.</p>
<p><em>Então vou usar isso no meu código inteiro!</em></p>
<p>Calma lá. Clojure não deixa de ser uma linguagem dinâmica apenas por ter <em>type hints</em>. A contrapartida dessas dicas é que elas poluem o código e, muitas vezes, e dificilmente você vai precisar que todo seu código seja otimizado.</p>
<p>Na próxima parte vamos aprender quando e como otimizar para praticamente todas as situações.</p>
<p>Até lá.</p>
<p><em>(Trecho do meu livro “Clojure: Programação Funcional Descomplicada para a JVM”, a ser publicado em breve)</em></p>
</div>
</article>
<article>
<header>
<h1 class="entry-title"><a href="/2014/11/lendo-arquivo-csv-com-parcimonia-no-ruby/">Lendo Arquivo CSV Com Parcimônia No Ruby</a></h1>
<p class="meta">
<time datetime="2014-11-17T09:34:00-02:00" pubdate data-updated="true">Nov 17<span>th</span>, 2014</time>
|
<span class="byline author vcard">Posted by <span class="fn"><a class='author' href='/author/rogerbarreto/'>Roger Leite</a></span></span>
| <a href="/2014/11/lendo-arquivo-csv-com-parcimonia-no-ruby/#disqus_thread">Comments</a>
</p>
<br/>
<div class="sharing">
<a href="http://twitter.com/share" class="twitter-share-button" data-url="http://1up4dev.org/2014/11/lendo-arquivo-csv-com-parcimonia-no-ruby/" data-text="Lendo arquivo CSV com parcimônia no Ruby" data-via="1up4dev" data-counturl="http://1up4dev.org/2014/11/lendo-arquivo-csv-com-parcimonia-no-ruby/" >Tweet</a>
<div class="g-plusone" data-size="medium" data-href="http://1up4dev.org/2014/11/lendo-arquivo-csv-com-parcimonia-no-ruby/"></div>
<div class="fb-like" data-send="true" data-width="450" data-show-faces="false" data-url="http://1up4dev.org/2014/11/lendo-arquivo-csv-com-parcimonia-no-ruby/"></div>
</div>
</header>
<div class="entry-content"><p>Ler e escrever <a href="http://en.wikipedia.org/wiki/Comma-separated_values">arquivo csv</a> é um mal necessário de muitos sistemas, ainda mais levando em conta que esta integração será feita via Excel, em algum Windows, com quilos de texto com acentos e dados a formatar. Dado este cenário, e que ele provavelmente se repetirá no futuro, deixo aqui um post auto-ajuda para mim mesmo e provavelmente para você que está lendo. :D</p>
<p>Na versão 1.9.3 e superior, o Ruby incluiu a classe <a href="http://ruby-doc.org/stdlib-1.9.3/libdoc/csv/rdoc/CSV.html">CSV</a> na sua <em>standard lib</em>, que facilita o trabalho de ler e/ou escrever arquivos csv. Exemplos em código abaixo.</p>
<h2>Conhecendo o CSV</h2>
<p>O modo mais simples e direto para ler um arquivo csv, é usar o <code>CSV.read</code> que retorna um Array de Arrays:</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
</pre></td><td class='code'><pre><code class='ruby'><span class='line'><span class="nb">require</span> <span class="s1">'csv'</span>
</span><span class='line'><span class="n">array_students</span> <span class="o">=</span> <span class="no">CSV</span><span class="o">.</span><span class="n">read</span><span class="p">(</span><span class="s1">'/tmp/mock_data.csv'</span><span class="p">)</span> <span class="c1"># return an Array of Arrays</span>
</span><span class='line'><span class="n">array_students</span><span class="o">.</span><span class="n">each</span> <span class="p">{</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span> <span class="nb">puts</span> <span class="n">row</span><span class="o">.</span><span class="n">inspect</span> <span class="p">}</span> <span class="c1"># => output:</span>
</span><span class='line'><span class="c1"># "[\"id\", \"name\", \"country\", \"birthday\"]"</span>
</span><span class='line'><span class="c1"># "[\"1\", \"Virginia Harvey\", \"GB\", \"01/06/1993\"]"</span>
</span></code></pre></td></tr></table></div></figure>
<p>Dentro da classe CSV, existem mais duas classes que facilitam ainda mais o manuseio dos dados.</p>
<p>Caso necessite de mais requinte e sofisticação, o método <code>CSV.table</code> retorna uma instância de <a href="http://ruby-doc.org/stdlib-1.9.3/libdoc/csv/rdoc/CSV/Table.html">CSV::Table</a>. Com o table, você tem acesso ao cabeçalho através do <code>headers</code> e acesso a cada linha do arquivo com o <code>each</code>, que retorna uma instância de <a href="http://ruby-doc.org/stdlib-1.9.3/libdoc/csv/rdoc/CSV/Row.html">CSV::Row</a>.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
</pre></td><td class='code'><pre><code class='ruby'><span class='line'><span class="nb">require</span> <span class="s1">'csv'</span>
</span><span class='line'><span class="n">table_students</span> <span class="o">=</span> <span class="no">CSV</span><span class="o">.</span><span class="n">table</span><span class="p">(</span><span class="s1">'/tmp/mock_data.csv'</span><span class="p">)</span> <span class="c1"># => instance of CSV::Table</span>
</span><span class='line'><span class="nb">puts</span> <span class="n">table_students</span><span class="o">.</span><span class="n">headers</span><span class="o">.</span><span class="n">inspect</span> <span class="c1"># => [:id, :name, :country, :birthday]</span>
</span><span class='line'><span class="n">table_students</span><span class="o">.</span><span class="n">each</span> <span class="p">{</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span> <span class="nb">puts</span> <span class="n">row</span><span class="o">.</span><span class="n">inspect</span> <span class="p">}</span> <span class="c1"># => output:</span>
</span><span class='line'><span class="c1"># <CSV::Row id:1 name:"Virginia Harvey" country:"GB" birthday:"01/06/1993"></span>
</span><span class='line'><span class="n">table_students</span><span class="o">.</span><span class="n">each</span> <span class="p">{</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span> <span class="nb">puts</span> <span class="n">row</span><span class="o">.</span><span class="n">fetch</span><span class="p">(</span><span class="ss">:name</span><span class="p">)</span> <span class="p">}</span> <span class="c1"># => output:</span>
</span><span class='line'><span class="c1"># Virginia Harvey</span>
</span></code></pre></td></tr></table></div></figure>
<p>Tanto o <code>read</code> quanto o <code>table</code>, aceitam um hash de options como segundo argumento. Tem uma descrição detalhada na documentação do <a href="http://ruby-doc.org/stdlib-1.9.3/libdoc/csv/rdoc/CSV.html#method-c-new">método new</a>. Exemplo usando options:</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
</pre></td><td class='code'><pre><code class='ruby'><span class='line'><span class="nb">require</span> <span class="s1">'csv'</span>
</span><span class='line'><span class="n">table_students</span> <span class="o">=</span> <span class="no">CSV</span><span class="o">.</span><span class="n">table</span><span class="p">(</span><span class="s1">'/tmp/mock_data2.csv'</span><span class="p">,</span> <span class="n">col_sep</span><span class="p">:</span> <span class="s2">";"</span><span class="p">,</span> <span class="n">skip_blanks</span><span class="p">:</span> <span class="kp">true</span><span class="p">,</span> <span class="ss">converters</span><span class="p">:</span> <span class="o">[]</span><span class="p">)</span>
</span><span class='line'><span class="n">table_students</span><span class="o">.</span><span class="n">each</span> <span class="p">{</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span> <span class="nb">puts</span> <span class="n">row</span><span class="o">.</span><span class="n">inspect</span> <span class="p">}</span>
</span></code></pre></td></tr></table></div></figure>
<h2>CSV converters</h2>
<p><a href="http://www.ruby-doc.org/stdlib-1.9.3/libdoc/csv/rdoc/CSV.html#HeaderConverters">CSV::HeaderConverters</a> contém um hash de symbol e block que são usados para converter os valores do cabeçalho. Para usá-los, você deve informar qual <em>converter</em> deseja aplicar na opção <code>header_converters</code>. Acredito que o código abaixo explica melhor.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
<span class='line-number'>8</span>
<span class='line-number'>9</span>
<span class='line-number'>10</span>
<span class='line-number'>11</span>
<span class='line-number'>12</span>
<span class='line-number'>13</span>
<span class='line-number'>14</span>
<span class='line-number'>15</span>
<span class='line-number'>16</span>
<span class='line-number'>17</span>
<span class='line-number'>18</span>
<span class='line-number'>19</span>
<span class='line-number'>20</span>
</pre></td><td class='code'><pre><code class='ruby'><span class='line'><span class="nb">require</span> <span class="s1">'csv'</span>
</span><span class='line'><span class="nb">puts</span> <span class="ss">CSV</span><span class="p">:</span><span class="ss">:HeaderConverters</span><span class="o">.</span><span class="n">keys</span><span class="o">.</span><span class="n">inspect</span> <span class="c1"># => [:downcase, :symbol]</span>
</span><span class='line'>
</span><span class='line'><span class="c1"># Add new header converter</span>
</span><span class='line'><span class="ss">CSV</span><span class="p">:</span><span class="ss">:HeaderConverters</span><span class="o">[</span><span class="ss">:remap</span><span class="o">]</span> <span class="o">=</span> <span class="nb">lambda</span> <span class="k">do</span> <span class="o">|</span><span class="n">raw_value</span><span class="o">|</span>
</span><span class='line'> <span class="n">raw_value</span> <span class="o">=</span> <span class="n">raw_value</span><span class="o">.</span><span class="n">to_sym</span>
</span><span class='line'> <span class="k">case</span> <span class="n">raw_value</span>
</span><span class='line'> <span class="k">when</span> <span class="ss">:country</span>
</span><span class='line'> <span class="ss">:pais</span>
</span><span class='line'> <span class="k">when</span> <span class="ss">:birthday</span>
</span><span class='line'> <span class="ss">:dt_nascimento</span>
</span><span class='line'> <span class="k">else</span>
</span><span class='line'> <span class="n">raw_value</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'><span class="k">end</span>
</span><span class='line'>
</span><span class='line'><span class="n">table_students</span> <span class="o">=</span> <span class="no">CSV</span><span class="o">.</span><span class="n">table</span><span class="p">(</span><span class="s1">'mock_data.csv'</span><span class="p">,</span> <span class="n">col_sep</span><span class="p">:</span> <span class="s2">","</span><span class="p">,</span> <span class="n">header_converters</span><span class="p">:</span> <span class="ss">:remap</span><span class="p">)</span>
</span><span class='line'><span class="n">table_students</span><span class="o">.</span><span class="n">each</span> <span class="k">do</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span>
</span><span class='line'> <span class="nb">puts</span> <span class="o">[</span><span class="n">row</span><span class="o">.</span><span class="n">fetch</span><span class="p">(</span><span class="ss">:pais</span><span class="p">),</span> <span class="n">row</span><span class="o">.</span><span class="n">fetch</span><span class="p">(</span><span class="ss">:dt_nascimento</span><span class="p">)</span><span class="o">].</span><span class="n">inspect</span> <span class="c1"># => ["GB", "01/06/1993"]</span>
</span><span class='line'><span class="k">end</span>
</span></code></pre></td></tr></table></div></figure>
<p>No exemplo acima, criei o HeaderConverter “remap” que traduz o cabeçalho country para pais e birthday para dt_nascimento. Por padrão, o <code>CSV</code> disponibiliza os converters downcase e symbol, que por sinal são usados quando usamos o método <code>table</code> para ler csv.</p>
<p><a href="http://www.ruby-doc.org/stdlib-1.9.3/libdoc/csv/rdoc/CSV.html#Converters">CSV::Converters</a> segue o mesmo padrão de symbol e block, a única diferença que este é usado para converter os valores da linha. Vamos ao código.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
<span class='line-number'>8</span>
<span class='line-number'>9</span>
<span class='line-number'>10</span>
<span class='line-number'>11</span>
<span class='line-number'>12</span>
<span class='line-number'>13</span>
<span class='line-number'>14</span>
<span class='line-number'>15</span>
<span class='line-number'>16</span>
<span class='line-number'>17</span>
<span class='line-number'>18</span>
<span class='line-number'>19</span>
<span class='line-number'>20</span>
<span class='line-number'>21</span>
<span class='line-number'>22</span>
<span class='line-number'>23</span>
<span class='line-number'>24</span>
<span class='line-number'>25</span>
<span class='line-number'>26</span>
</pre></td><td class='code'><pre><code class='ruby'><span class='line'><span class="nb">require</span> <span class="s1">'csv'</span>
</span><span class='line'><span class="nb">require</span> <span class="s1">'date'</span>
</span><span class='line'>
</span><span class='line'><span class="nb">puts</span> <span class="ss">CSV</span><span class="p">:</span><span class="ss">:Converters</span><span class="o">.</span><span class="n">keys</span><span class="o">.</span><span class="n">inspect</span> <span class="c1"># => [:integer, :float, :numeric, :date, :date_time, :all]</span>
</span><span class='line'>
</span><span class='line'><span class="c1"># Add new converter</span>
</span><span class='line'><span class="ss">CSV</span><span class="p">:</span><span class="ss">:Converters</span><span class="o">[</span><span class="ss">:nil_to_empty</span><span class="o">]</span> <span class="o">=</span> <span class="nb">lambda</span> <span class="k">do</span> <span class="o">|</span><span class="n">raw_value</span><span class="o">|</span>
</span><span class='line'> <span class="n">raw_value</span><span class="o">.</span><span class="n">nil?</span> <span class="p">?</span> <span class="s2">""</span> <span class="p">:</span> <span class="n">raw_value</span>
</span><span class='line'><span class="k">end</span>
</span><span class='line'>
</span><span class='line'><span class="c1"># Add new converter</span>
</span><span class='line'><span class="ss">CSV</span><span class="p">:</span><span class="ss">:Converters</span><span class="o">[</span><span class="ss">:brazilian_date</span><span class="o">]</span> <span class="o">=</span> <span class="nb">lambda</span> <span class="k">do</span> <span class="o">|</span><span class="n">raw_value</span><span class="o">|</span>
</span><span class='line'> <span class="k">if</span> <span class="n">raw_value</span> <span class="o">=~</span> <span class="sr">/\d{2}\/\d{2}\/\d{4}/</span>
</span><span class='line'> <span class="no">Date</span><span class="o">.</span><span class="n">strptime</span><span class="p">(</span><span class="n">raw_value</span><span class="p">,</span> <span class="s2">"%d/%m/%Y"</span><span class="p">)</span>
</span><span class='line'> <span class="k">else</span>
</span><span class='line'> <span class="n">raw_value</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'><span class="k">end</span>
</span><span class='line'>
</span><span class='line'><span class="c1"># Group converters</span>
</span><span class='line'><span class="ss">CSV</span><span class="p">:</span><span class="ss">:Converters</span><span class="o">[</span><span class="ss">:my_custom_converters</span><span class="o">]</span> <span class="o">=</span> <span class="o">[</span><span class="ss">:nil_to_empty</span><span class="p">,</span> <span class="ss">:brazilian_date</span><span class="o">]</span>
</span><span class='line'>
</span><span class='line'><span class="n">table_students</span> <span class="o">=</span> <span class="no">CSV</span><span class="o">.</span><span class="n">table</span><span class="p">(</span><span class="s1">'mock_data.csv'</span><span class="p">,</span> <span class="n">col_sep</span><span class="p">:</span> <span class="s2">","</span><span class="p">,</span> <span class="ss">converters</span><span class="p">:</span> <span class="ss">:my_custom_converters</span><span class="p">)</span>
</span><span class='line'><span class="n">table_students</span><span class="o">.</span><span class="n">each</span> <span class="k">do</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span>
</span><span class='line'> <span class="nb">puts</span> <span class="o">[</span><span class="n">row</span><span class="o">.</span><span class="n">fetch</span><span class="p">(</span><span class="ss">:country</span><span class="p">),</span> <span class="n">row</span><span class="o">.</span><span class="n">fetch</span><span class="p">(</span><span class="ss">:birthday</span><span class="p">)</span><span class="o">].</span><span class="n">inspect</span> <span class="c1"># => ["GB", #<Date: 1993-06-01 ((2449140j,0s,0n),+0s,2299161j)>]</span>
</span><span class='line'><span class="k">end</span>
</span></code></pre></td></tr></table></div></figure>
<p>No exemplo acima criei dois converters. Um para trocar nil por “” e o outro que converte para Date caso o valor esteja no formato 99/99/9999.</p>
<h2>Encoding hell com Excel</h2>
<p>Normalmente o csv é usado como meio de integração Excel <=> Sistema. Acontece que o Excel não se dá muito bem com acentos especiais como ãõáé etc. Isto porque estamos em 2014. Acontece que quando há caracteres especiais, a única abordagem que funcionou foi exportar para Unicode text. Neste formato, o encoding do arquivo é UTF-16LE e separado por tab (\t). Este <a href="http://blog.plataformatec.com.br/2009/09/exportando-dados-para-excel-usando-csv-em-um-aplicativo-rails/">post de 2009 da Plataformatec</a> explica com mais detalhes este jeitinho do Excel de ser com os dados. A única diferença de 2009 pra hoje, é que podemos passar o encoding como parâmetro ao ler o arquivo, e por sorte evitar o uso do iconv. Vamos ao código:</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
<span class='line-number'>8</span>
</pre></td><td class='code'><pre><code class='ruby'><span class='line'><span class="nb">require</span> <span class="s1">'csv'</span>
</span><span class='line'>
</span><span class='line'><span class="n">table</span> <span class="o">=</span> <span class="no">CSV</span><span class="o">.</span><span class="n">table</span><span class="p">(</span><span class="s1">'mock_unicode.txt'</span><span class="p">,</span>
</span><span class='line'> <span class="n">col_sep</span><span class="p">:</span> <span class="s2">"</span><span class="se">\t</span><span class="s2">"</span><span class="p">,</span> <span class="c1"># tab as delimiter</span>
</span><span class='line'> <span class="ss">encoding</span><span class="p">:</span> <span class="s2">"UTF-16LE:UTF-8"</span><span class="p">)</span> <span class="c1"># read UTF-16LE and convert to UTF-8</span>
</span><span class='line'><span class="n">table</span><span class="o">.</span><span class="n">each</span> <span class="k">do</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span>
</span><span class='line'> <span class="nb">puts</span> <span class="n">row</span><span class="o">.</span><span class="n">inspect</span>
</span><span class='line'><span class="k">end</span>
</span></code></pre></td></tr></table></div></figure>
<h2>Evitando o abuso de memória</h2>
<p>Ao ler arquivos com <code>read</code> ou <code>table</code>, o arquivo é colocado em memória, ou seja, ao processar uma planilha de 100mb, o seu processo ruby vai pra um 100mb e pouco. Agora imagina 20 workers e cada um processando uma planilha de 100mb ou mais, facilmente o seu servidor terá um pico de consumo de memória, o no pior cenário vai dar crash no processo. Para evitar este consumo devemos usar o <code>foreach</code> do <code>CSV</code>.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
<span class='line-number'>8</span>
<span class='line-number'>9</span>
</pre></td><td class='code'><pre><code class='ruby'><span class='line'><span class="nb">require</span> <span class="s1">'csv'</span>
</span><span class='line'>
</span><span class='line'><span class="no">CSV</span><span class="o">.</span><span class="n">foreach</span><span class="p">(</span><span class="s2">"mock_data.csv"</span><span class="p">,</span> <span class="n">col_sep</span><span class="p">:</span> <span class="s2">","</span><span class="p">)</span> <span class="k">do</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span>
</span><span class='line'> <span class="nb">puts</span> <span class="n">row</span><span class="o">.</span><span class="n">inspect</span>
</span><span class='line'><span class="k">end</span>
</span><span class='line'>
</span><span class='line'><span class="c1"># =></span>
</span><span class='line'><span class="c1"># ["id", "name", "country", "birthday"]</span>
</span><span class='line'><span class="c1"># ["1", "Virginia Harvey", "GB", "01/06/1993"]</span>
</span></code></pre></td></tr></table></div></figure>
<p>Desta maneira a leitura é mais otimizada, pois apenas uma linha por vez é lida. O único problema é que perdemos algumas facilidades do <code>table</code>, como os <code>headers</code> e a instância do <code>CSV::Row</code> por linha. Tentando chegar no modelo ideal, montei uma classe que usa o foreach e mesmo assim tem os <code>headers</code> e os <code>rows</code>.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
<span class='line-number'>8</span>
<span class='line-number'>9</span>
<span class='line-number'>10</span>
<span class='line-number'>11</span>
<span class='line-number'>12</span>
<span class='line-number'>13</span>
<span class='line-number'>14</span>
<span class='line-number'>15</span>
<span class='line-number'>16</span>
<span class='line-number'>17</span>
<span class='line-number'>18</span>
<span class='line-number'>19</span>
<span class='line-number'>20</span>
<span class='line-number'>21</span>
<span class='line-number'>22</span>
<span class='line-number'>23</span>
<span class='line-number'>24</span>
<span class='line-number'>25</span>
<span class='line-number'>26</span>
<span class='line-number'>27</span>
<span class='line-number'>28</span>
<span class='line-number'>29</span>
<span class='line-number'>30</span>
<span class='line-number'>31</span>
<span class='line-number'>32</span>
<span class='line-number'>33</span>
<span class='line-number'>34</span>
<span class='line-number'>35</span>
<span class='line-number'>36</span>
<span class='line-number'>37</span>
<span class='line-number'>38</span>
<span class='line-number'>39</span>
<span class='line-number'>40</span>
<span class='line-number'>41</span>
<span class='line-number'>42</span>
<span class='line-number'>43</span>
<span class='line-number'>44</span>
<span class='line-number'>45</span>
<span class='line-number'>46</span>
<span class='line-number'>47</span>
<span class='line-number'>48</span>
<span class='line-number'>49</span>
<span class='line-number'>50</span>
<span class='line-number'>51</span>
<span class='line-number'>52</span>
<span class='line-number'>53</span>
<span class='line-number'>54</span>
<span class='line-number'>55</span>
<span class='line-number'>56</span>
<span class='line-number'>57</span>
<span class='line-number'>58</span>
<span class='line-number'>59</span>
<span class='line-number'>60</span>
</pre></td><td class='code'><pre><code class='ruby'><span class='line'><span class="nb">require</span> <span class="s1">'csv'</span>
</span><span class='line'>
</span><span class='line'><span class="k">class</span> <span class="nc">SheetReader</span>
</span><span class='line'>
</span><span class='line'> <span class="kp">attr_reader</span> <span class="ss">:headers</span>
</span><span class='line'>
</span><span class='line'> <span class="k">def</span> <span class="nf">initialize</span><span class="p">(</span><span class="n">filepath</span><span class="p">)</span>
</span><span class='line'> <span class="c1"># options to read unicode text file</span>
</span><span class='line'> <span class="c1"># options = {</span>
</span><span class='line'> <span class="c1"># col_sep: "\t",</span>
</span><span class='line'> <span class="c1"># skip_blanks: true,</span>
</span><span class='line'> <span class="c1"># encoding: "UTF-16LE:UTF-8",</span>
</span><span class='line'> <span class="c1"># converters: []</span>
</span><span class='line'> <span class="c1"># }</span>
</span><span class='line'> <span class="n">options</span> <span class="o">=</span> <span class="p">{</span><span class="n">col_sep</span><span class="p">:</span> <span class="s2">","</span><span class="p">,</span> <span class="ss">converters</span><span class="p">:</span> <span class="o">[]</span><span class="p">}</span>
</span><span class='line'> <span class="vi">@csv_reader</span> <span class="o">=</span> <span class="no">CSV</span><span class="o">.</span><span class="n">foreach</span><span class="p">(</span><span class="n">filepath</span><span class="p">,</span> <span class="n">options</span><span class="p">)</span> <span class="c1"># gets a iterator</span>
</span><span class='line'> <span class="vi">@headers</span> <span class="o">=</span> <span class="n">convert_headers</span><span class="p">(</span><span class="vi">@csv_reader</span><span class="o">.</span><span class="n">next</span><span class="p">)</span> <span class="c1"># read first line</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'>
</span><span class='line'> <span class="c1"># yield an instance of http://ruby-doc.org/stdlib-2.1.0/libdoc/csv/rdoc/CSV/Row.html</span>
</span><span class='line'> <span class="k">def</span> <span class="nf">each_row</span><span class="p">(</span><span class="o">&</span><span class="n">block</span><span class="p">)</span>
</span><span class='line'> <span class="k">begin</span>
</span><span class='line'> <span class="k">while</span> <span class="kp">true</span>
</span><span class='line'> <span class="n">raw_row</span> <span class="o">=</span> <span class="vi">@csv_reader</span><span class="o">.</span><span class="n">next</span> <span class="c1"># raise StopIteration in EOF</span>
</span><span class='line'> <span class="k">yield</span> <span class="ss">CSV</span><span class="p">:</span><span class="ss">:Row</span><span class="o">.</span><span class="n">new</span><span class="p">(</span><span class="n">headers</span><span class="p">,</span> <span class="n">raw_row</span><span class="p">)</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'> <span class="k">rescue</span> <span class="no">StopIteration</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'>
</span><span class='line'> <span class="kp">protected</span>
</span><span class='line'>
</span><span class='line'> <span class="c1"># Internal: Convert headers to Array of symbols.</span>
</span><span class='line'> <span class="c1">#</span>
</span><span class='line'> <span class="c1"># raw_headers - Array of Strings.</span>
</span><span class='line'> <span class="c1">#</span>
</span><span class='line'> <span class="c1"># Examples</span>
</span><span class='line'> <span class="c1">#</span>
</span><span class='line'> <span class="c1"># convert_headers(["ATIVO", "NOME COMERCIAL"])</span>
</span><span class='line'> <span class="c1"># # => [:ativo, :nome_comercial]</span>
</span><span class='line'> <span class="c1">#</span>
</span><span class='line'> <span class="c1"># Returns Array of symbols.</span>
</span><span class='line'> <span class="k">def</span> <span class="nf">convert_headers</span><span class="p">(</span><span class="n">raw_headers</span><span class="p">)</span>
</span><span class='line'> <span class="n">raw_headers</span><span class="o">.</span><span class="n">compact!</span> <span class="c1"># removes nil values</span>
</span><span class='line'> <span class="n">converter</span> <span class="o">=</span> <span class="nb">lambda</span> <span class="k">do</span> <span class="o">|</span><span class="n">header</span><span class="o">|</span>
</span><span class='line'> <span class="n">header_converters</span> <span class="o">=</span> <span class="ss">CSV</span><span class="p">:</span><span class="ss">:HeaderConverters</span><span class="o">.</span><span class="n">values</span>
</span><span class='line'> <span class="n">header_converters</span><span class="o">.</span><span class="n">inject</span><span class="p">(</span><span class="n">header</span><span class="p">)</span> <span class="k">do</span> <span class="o">|</span><span class="n">header</span><span class="p">,</span> <span class="n">converter_proc</span><span class="o">|</span>
</span><span class='line'> <span class="n">converter_proc</span><span class="o">.</span><span class="n">call</span><span class="p">(</span><span class="n">header</span><span class="p">)</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'>
</span><span class='line'> <span class="n">raw_headers</span><span class="o">.</span><span class="n">map</span> <span class="p">{</span> <span class="o">|</span><span class="n">header</span><span class="o">|</span> <span class="n">converter</span><span class="o">.</span><span class="n">call</span><span class="p">(</span><span class="n">header</span><span class="p">)</span> <span class="p">}</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'><span class="k">end</span>
</span><span class='line'>
</span><span class='line'><span class="n">reader</span> <span class="o">=</span> <span class="no">SheetReader</span><span class="o">.</span><span class="n">new</span><span class="p">(</span><span class="s1">'mock_data.csv'</span><span class="p">)</span>
</span><span class='line'><span class="n">reader</span><span class="o">.</span><span class="n">headers</span> <span class="c1"># => [:id, :name, :country, :birthday]</span>
</span><span class='line'><span class="n">reader</span><span class="o">.</span><span class="n">each_row</span> <span class="k">do</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span>
</span><span class='line'> <span class="nb">puts</span> <span class="n">row</span><span class="o">.</span><span class="n">inspect</span> <span class="c1"># => #<CSV::Row id:"1" name:"Virginia Harvey" country:"GB" birthday:"01/06/1993"></span>
</span><span class='line'><span class="k">end</span>
</span></code></pre></td></tr></table></div></figure>
<p>Por último, uma observação importante: todo este código acima foi rodado no ruby 2.1.0. Espero que este mini guia de como ler arquivo csv com Ruby te ajude.
Segue alguns links com mais informações:</p>
<ul>
<li><a href="http://www.sitepoint.com/guide-ruby-csv-library-part/">http://www.sitepoint.com/guide-ruby-csv-library-part/</a></li>
<li><a href="http://www.sitepoint.com/guide-ruby-csv-library-part-2/">http://www.sitepoint.com/guide-ruby-csv-library-part-2/</a></li>
<li><a href="http://technicalpickles.com/posts/parsing-csv-with-ruby/">http://technicalpickles.com/posts/parsing-csv-with-ruby/</a></li>
<li><a href="http://blog.plataformatec.com.br/2009/09/exportando-dados-para-excel-usando-csv-em-um-aplicativo-rails/">http://blog.plataformatec.com.br/2009/09/exportando-dados-para-excel-usando-csv-em-um-aplicativo-rails/</a></li>
</ul>
<p>Dúvidas, sugestões ou qualquer outra coisa. Deixe um comentário ou se preferir, mande um <a href="https://twitter.com/rogerleite">tweety!</a> :D</p>
</div>
</article>
<article>
<header>
<h1 class="entry-title"><a href="/2014/10/extraindo_dados_da_internet_com_clojure/">Extraindo Dados Da Internet Com Clojure</a></h1>
<p class="meta">
<time datetime="2014-10-28T12:10:00-02:00" pubdate data-updated="true">Oct 28<span>th</span>, 2014</time>
|
<span class="byline author vcard">Posted by <span class="fn"><a class='author' href='/author/pbalduino/'>Plínio Balduino</a></span></span>