并行与分布式计算笔记1并行与分布式计算笔记1
并行与分布式计算笔记1计算节点用InfiniBand网络进行通信,传输速率可以到100GB/s。并行编译器只能做到执行级的并行，检测到basic block和少量的嵌入的for循环，无法满足并行计算的要求。所以需要让程序员来编写并行程序。通过操作系统底层的线程库来编程会非常复杂，甚至出错，所以会有并行编程的工具来进行抽象。常见的工具有：OpenMPMessage Passing In...
