如果你有一個(gè)4.2GB的CSV文件，里面有超過(guò)1200萬(wàn)條記錄，每條記錄都有50列?，F在你要做的是把其中某一列的值全加起來(lái)。你怎么辦？
這是我最近看到的一篇文章的開(kāi)頭部分。文章介紹的是如何使用unix命令來(lái)分析大體積文件的文章。像我這樣一個(gè)基本上都在Windows平臺上開(kāi)發(fā)的程序員，對他提出的這樣一個(gè)問(wèn)題，首先出現在腦子里的就是內存溢出、CPU達到100%、跑一個(gè)晚上。而對于一個(gè)Linux/unix高手來(lái)說(shuō)，這真是小菜一碟，正如文章中介紹的方法，一行命令就完成了這個(gè)任務(wù)。
(假設文件名叫做data.csv，行數據用豎線(xiàn)分割，我們需要總計其中的第四列。)
| cat data.csv | awk -F “|” ‘{ sum += $4 } END { printf “%.2f\n”, sum }’ |
簡(jiǎn)潔干凈，而且里面的{ sum += $4 }很有閉包的味道。讓我對Linux的向往又加深了一層。
我寫(xiě)這篇博客的目的并不是抒發(fā)對Linux的感情的，而是重點(diǎn)講一下發(fā)生在這篇文章評論里的事情。這篇文章吸引了不少Linux愛(ài)好者的評論，而且都是Liunx高手，僅僅是第一條評論，看了后就讓我驚訝的合不上嘴。
這位叫做California Lotto的網(wǎng)名的評論是：
如果你認為自己是一個(gè)Linux命令行高手，那恭喜你贏(yíng)得今天的“最沒(méi)用的Cat用法”大獎。你應該這樣寫(xiě)這個(gè)命令：
awk -F "|" '{ sum += $4 } END { printf "%.2f\n", sum }' < data.csv的確，cat在這里似乎是沒(méi)必要的。我首先是佩服，可之后馬上感覺(jué)這個(gè)人可真討厭，賣(mài)弄。雖然我不喜歡他無(wú)視作者寫(xiě)這片好博文的辛苦，但作為外行人，他和作者一樣都是我高不可及的。
可是當我讀第二條評論時(shí)，事情出現了戲劇性的變化，這第二條評論明顯是真對第一條評論的：
如果你認為自己是一個(gè)Linux命令行高手，那恭喜你贏(yíng)得今天的“最沒(méi)用的重定向用法”獎。你應該這樣寫(xiě)這個(gè)命令：
awk -F "|" '{ sum += $4 } END { printf "%.2f\n", sum }' data.csv正所謂強中自有強中手，一山更比一山高。我突然意識到，其實(shí)沒(méi)必要在這里比誰(shuí)比誰(shuí)更強，在這個(gè)浩瀚的互聯(lián)網(wǎng)里，永遠都會(huì )有比你在某方法更出眾的人。這里重要的是探討和參與。通過(guò)這種探討，不僅豐富了你我的知識，而且對問(wèn)題的解決方案有了更豐富的認識。正像接下來(lái)的評論里繼續指出，命令行這的重定向符放在什么地方都可以，寫(xiě)成這樣也是好用的：
| <data.csv awk -F “|” ‘{ sum += $4 } END { printf “%.2f\n”, sum }’ |
神奇吧！而接下來(lái)繼續有人指出，作者在實(shí)驗時(shí)寫(xiě)成這樣：
| head -1 data.psv | awk -F’|’ ‘{print NF}’ |
實(shí)驗成功后直接把head改成cat是順理成章的事。
不管怎樣，這是一篇好文章，這些人都是高手，都是我的老師，不僅教我編程知識，更教我如何做人。
