http://www.dbaleet.org/how_to_cable_ib_switches/
这个问题看似没有什么讨论的必要，因为接线从来就不是什么技术活。但是令人遗憾的是我对此并不熟悉，经过一番请教，基本上明白了其中的原理。
以下是一台1/4配Exadata infiniband内部是如何进行连接的：
1/4配的Exadata2台db节点和3台cell节点，另外还有2台叶子节点ib交换机。上图的理解如下：
Exadata的每台服务器都提供了一个双口的QDR infinband HCA卡， 采用在操作系统中Active-Standby的模式进行连接，Exadata就是据此来实现节点之间互连的高可用的。所以上图中有两个port，其中port1为Active， port2为Standby。默认情况下，db01, db02, cel01, cel02, cel03同时连接到两台ib叶子节点交换机上，只是在ib1为active状态，ib2为standby状态。如果db01需要访问cel01, cel02, cel03上数据有ib1就可以搞定了，并不需要通过ib2。如果ib1发生故障，这个时候ib2会自动接管，对前段的数据库的正常运行无影响。
另外两个ib叶子节点之间还有使用了7根线进行互联，这里问题来了，为什么是7根线，而不是2根或者8根？从以上图片中很难找到答案。
这个图是一台1/1的Exadata，但是只是用了2太ib叶子交换机。port1为primary，port2为standby。如果db01需要访问的数据位于cel01-cel07, 那么则无需使用ib2, 但是如果db01需要访问的数据位于cel08-cel14, 因为cel08-cel14再ib1上处于standby状态，并不会进行数据传输。所以需要通过两台ib交换机之间内联的7根线去ib2，然后再通过ib2去访问cel08-cel14的数据。如果两台交换机之间互连的数据线低于7根，则无法获取最大的性能，因为处于standby状态的cel节点为7台。高于7根数据线则意义不大。如果使用的是1/4配或者1/2, 虽然部分线是多余的，但是也会使用7根线来实现互联，因为这种接线的方式是出厂预设的。
如果使用第三台主干交换机，则只需要在每一台叶子交换机上分别引一根线到主干交换机。如下所示：
以上。
Comment