当我在浏览网页关注一些我定期访问网站的更新时，我发现Tom Hayden的一篇很酷的文章，使用Amazon Elastic Map Reduce（EMR）和mrjob，以计算从millionbase archive下载的象棋游戏的输赢率，慢慢地从中发现乐趣。由于数据量仅约为1.75GB，含200万左右的国际象棋游戏，我不确定他为何使用Hadoop，但我能理解他的目标，从mrjob和EMR中学习并获得乐趣。既然问题基本上只是看每个文件的resultl lines和汇总不同的结果，似乎非常适合shell命令的流处理。我试着用相同的数据量处理，我的笔记本电脑得到结果只需12秒左右（处理速度约为270MB /秒），而Hadoop处理了约26分钟（处理速度约1.14MB /秒）。
在报告用7 c1. machine在集群中处理数据所需要的时间为26分钟，汤姆写到：“这可能比在我的机器上按顺序运行快，但如果我做了一些聪明的本地多线程应用程序可能更好。”
给Oracle开发者和DBA上的MongoDB课程
老刘花了6个月时间学习mongodb，尝试把学习oracle的方法和精神用到学习mongodb nosql上，来听听老刘的心得
学习目标
MongoDB For Oracle DBA和开发者
课程目标：
课程特色：maclean liu老刘花了6个月时间学习mongodb，尝试把学习oracle的方法和精神用到学习mongodb nosql上，来听听老刘的心得
适用人群：对mongodb不了解的任何人
优惠方式：免费
前の数日にPRM-DULで(http://www.parnassusdata.com/)お客様のOracleデータベースをリカバリした。
その中に、あるユーザーはraid-5のストレージ陣列によって、ディスクがかなりひどく壊された。バックアップがあるがあるが、テストにパースできなかった。Oracleデータベースをリカバリする途中に、大量なundo損害トラブルが起こっている。しかも、システムテーブルのシステムロールバックセグメントで起こった。残っているのは十ヶ月前のバックアップしかない。
もうひとりのエンジニアと協力し、壊されたストレージシステムから、二つのOracleデータベースをリカバリしてみた。そのなかの一つのデータベースに対して、PRM-DULはそのシステムテーブルスペースのデータディクショナリーを読み取れる。損害がかなり深刻であったが、データディクショナリー自身には何のトラブルもない。もう一つのデータベースのシステムスペースには損害があったが、PRM-DULのディクショナリーモードでリカバリしてみたが、非ディクショナリーモードに転じた。
十ヶ月前に、一部のrmanバックアップによって、十ヶ月前のシステムデータファイルでデータディクショナリーを再構造できる。けど、十ヶ月前のデータがちょっとした問題点があるので、最後に非ディクショナリーモードを採用せざるを得なかった。これで、テーブルの名前、列のセグメントの名前、及び列のセグメントのタイプなどを当てる必要がある。もし、ユーザー側が業務に詳しい業務員の協力を得られなければ、Oracle技術者だけでは、かなり工夫をかけるので、人工費が高くなる。
最後にほぼ１００％にデータをリカバリできた。データディクショナリーがある場合に対して、TAB$のNUM_ROWSを参考し、各テーブルの行数を確認すれば、どれほどのデータがなくしたことが明白になる。
PRM-DULなら、論理的にすべてのデータをリカバリできるが、このケースには一部のデータファイルのブロックが物理的に壊滅されたため、100％にリカバリできなかった。ここでは、あえてもう一度言う、本当に大切なデータであれば、きちんとバックアップしてください。
MySQL数据库服务的推荐安装方法是通过MySQL网站直接下载安装。这种方法在一些不同的平台上都有支持，仅在不同的平台上的安装细节上略有不同。然而，其主要步骤都一样。请注意你需要管理好权限设置以完成此安装。
对于在Windows和Linux操作系统上的安装步骤如下：
MySQL Server在Windows操作系统上的安装
1）访问MySQL官网下载页http://dev.mysql.com/downloads/
2）找到对应主题: MySQL on Windows -> MySQL Installer
3）下载my-installer-community MSI版本
4）双击下载的MSI文件，启动MySQL Installer, 选择Custom安装模式后，选择对应MySQL Server组件。
5）Next后按提示进行一步步安装，你需要提供相应root密码。
6）默认安装目录为：C:\Program Files\MySQL\MySQL Server 5.x
7）完成安装时会有提示信息告知。
MySQL Server在Linux操作系统上的安装：
1）访问MySQL官网下载页http://dev.mysql.com/downloads/
2）找到对应主题MySQL Community Downloads -> MySQL Community Server (GPL)
3）找到对应操作系统并下载最新二进制tar包(这里举例Linux-Generic), 如：
mysql-5.6.25-linux-glibc2.5-x86_64.tar.gz
4）将tar包解压至/usr/local目录下（如果tar包在/tmp目录下）
| # cd /usr/local # tar -zxvf /tmp/mysql-5.6.25-linux-glibc2.5-x86_64.tar.gz |
5）对目录建立软链接
| # ln -s mysql-5.6.25-linux-glibc2.5-x86_64 mysql |
6）安装系统表
| # cd mysql # scripts/mysql_install_db |
7）建立mysql系统用户及用户组
| # groupadd mysql # useradd -g mysql mysql |
8）修改data目录所有者
| # chown -R mysql:mysql data |
9）可选操作，将启动脚本拷贝到/etc/init.d下
| # cp support-files/mysql.server /etc/init.d/mysql.server |
3.2.1 时区表的数据导入
MySQL的安装过程中会在mysql数据库(/data/mysql)下建立一组时区表(对应表文件time_zone*)：
MySQL Server使用时区表来实现对如’Europe/Warsaw’等命名时区的支持。然而，时区表在建立后为空表，并没有数据。这意味着默认情况下，命名时区不可用。为了启用此功能，你必须对这些表导入数据。这是一个可选配置过程，除非你进行配置，否则时区支持将被限制为SYSTEM时区且时区偏移值也将受当前系统限制如’+08:00’。
在操作系统上有其自有的时区文件，最好是使用它们来导入MySQL时区表，以保证系统和MySQL时区基于相同的信息。许多Unix系统上有这些文件，它们常被放置在/usr/share/zoneinfo目录中。对于这些系统，可以使用mysql_tzinfo_to_sql程序来将这些文件内容转换为SQL语句并导入到MySQL表中。如果文件在/usr/share/zoneinfo目录中，使用命令如下：
| # mysql_tzinfo_to_sql /usr/share/zoneinfo |mysql -uroot mysql |
有些系统中没有时区文件，如Windows和HP-UX。对于这中情况，MySQL在http://dev.mysql.com/downloads/timezones.html上提供了对应版本的时区表文件(MyISAM表文件)。你可以对应版本下载后在你的mysql数据库中替换空的时区表文件即可。停止MySQL Server，将解压后的文件拷贝至/data/mysql数据库目录中，重启服务。
UEK R1（2.6.32base）的改良点（WP开始）
| 功能 | 内容 | 从执行这次的Oracle Database 的性能测试的角度来考虑 |
| Latest Infiniband Stack(OEFD) 1.5.1 | Infiniband的改善 | 不考虑（Infiniband无法准备） |
| Receive Packet Steering and Receive Flow Steering | 可以在多个CPU中分散网络接收信息的软分割处理 | 大量发生网络接收信息的操作
UEK R1的默认的CPU mask中，1个NICdevice的softirq处理为偏向1个CPU |
| Advanced support for large NUMA system | irqbalance处理为同一NUMA节点内
通过改善semaphore可以减少runqueue锁定竞争 |
进程较多 时的性能 |
| IO affinity | IO需求完成，在执行需求的CPU中执行 | 默认on/device的设定
large NUMA system中效果较好 |
| Improved asynchronous writeback performance | 改善kernel page cache的写回处理 | 是否与使用Direct IO的Oracle Database有关 |
| SSD detection | 如果检测到是SSD的话，就变更IO Scheduling | 作为Database Smart Flash Cache来使用SSD |
| Task Control Group | 可以制成用户定义的进程的group | 不考虑 |
| Hardware fault management | AER kernel driver可以记录PCIe的错误
MCE可以记录CPU/Memory的错误 |
不考虑 （无法再现HW的故障） |
| Power management features | UEK变成了tickless kernel
SATA的low-power mode |
不考虑 |
| Data integrity features | T10 Protection Information(T10-PI) | 不考虑 （无法准备对应存储） |
| Oracle Cluster File System 2 | OCFS2 v1.6 功能扩展 | 不考虑 （使用ASM） |
| Latencytop | 可以观测到怎样的信息 | |
| New fallocate() system call | 文件系统上的区域予約 | 不考虑 |
| 功能 | 内容 | 以执行这次的Oracle Database 的性能测试的角度来看的话 |
| IO scheduler | UEK的默认变更为deadline | 2.6.32默认为cfq（RHEL5兼容内核也是cfq）
是否影响IO性能 |
| Process Scheduler等 | 从2.6.18到2.6.32的upstream kernel的改良 | 多CPU核心/线程，多进程中的操作 |
UEK R1中值得注意的功能以及Oracle Database的测试模式
Oracle Linux 6 性能测试
Oracle Linux 6 性能测试
OS进程/线程（一般情况）
增加CPU核心（一般情况）
单一队列NIC的问题
Ethernet NIC 的接收信息队列的改良
网络接收信息处理的硬件的改良
Receive-Side Scaling（RSS）
Linux中的NIC的单一队列/多队列查看方法
dmesg 命令
Intel(R) Gigabit Ethernet Network Driver - version 3.0.6-k2 Copyright (c) 2007-2011 Intel Corporation. igb 0000:05:00.0: PCI INT A -> GSI 16 (level, low) -> IRQ 16 igb 0000:05:00.0: setting latency timer to 64 alloc irq_desc for 52 on node -1 alloc kstat_irqs on node -1 alloc irq_2_iommu on node -1 igb 0000:05:00.0: irq 52 for MSI/MSI-X alloc irq_desc for 53 on node -1 alloc kstat_irqs on node -1 alloc irq_2_iommu on node -1 igb 0000:05:00.0: irq 53 for MSI/MSI-X alloc irq_desc for 54 on node -1 alloc kstat_irqs on node -1 alloc irq_2_iommu on node -1 igb 0000:05:00.0: irq 54 for MSI/MSI-X alloc irq_desc for 55 on node -1 alloc kstat_irqs on node -1 alloc irq_2_iommu on node -1 igb 0000:05:00.0: irq 55 for MSI/MSI-X alloc irq_desc for 56 on node -1 alloc kstat_irqs on node -1 alloc irq_2_iommu on node -1 igb 0000:05:00.0: irq 56 for MSI/MSI-X alloc irq_desc for 57 on node -1 alloc kstat_irqs on node -1 alloc irq_2_iommu on node -1 igb 0000:05:00.0: irq 57 for MSI/MSI-X alloc irq_desc for 58 on node -1 alloc kstat_irqs on node -1 alloc irq_2_iommu on node -1 igb 0000:05:00.0: irq 58 for MSI/MSI-X alloc irq_desc for 59 on node -1 alloc kstat_irqs on node -1 alloc irq_2_iommu on node -1 igb 0000:05:00.0: irq 59 for MSI/MSI-X alloc irq_desc for 60 on node -1 alloc kstat_irqs on node -1 alloc irq_2_iommu on node -1 igb 0000:05:00.0: irq 60 for MSI/MSI-X igb 0000:05:00.0: 0 vfs allocated igb 0000:05:00.0: Intel(R) Gigabit Ethernet Network Connection igb 0000:05:00.0: eth0: (PCIe:2.5Gb/s:Width x4) 00:17:42:9b:e0:50 igb 0000:05:00.0: eth0: PBA No: FFFFFF-0FF igb 0000:05:00.0: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s) eth0 有多个的队列 （irq 52到60）
/sys/class/net/ethX/queues/rx-Y/rps_cpus（X为NIC的数量Y为队列的数量）
验证设备的1Gbps Ethernet NIC
如今，产品目录数据管理对零售商而言是一个非常复杂的问题。经过多年对多个庞大、由供应商提供的系统的依赖之后，零售商目前正在重新考虑他们的选择，并且开始展望未来。
在如今供应商提供的系统中，产品数据必须得频繁地使用 ETL 工具来回迁移，以保证所有的系统均在相同数据集上进行操作。这个方法就开发和管理而言是非常缓慢、容易出错，并且非常昂贵的。因此，零售商目前正在努力将 数据服务单独作为一个集中的、面向服务架构（SOA）的一部分。
MongoDB中可以使用db.setProfilingLevel的方法来跟踪查询语句，语法为db.setProfilingLevel(level, slowms)。其作用是修改当前数据库的PROFILER级别来让数据库记录更多的性能数据。
LEVEL 参数：制定profiling的级别，0是不跟踪，1代表只跟踪慢的操作，2代表跟踪所有操作。
slowms 参数：设置的时间阈值，大于该阈值则认为查询是慢的SLOW的
设置LEVEL=2可能会少量影响MongoDB性能，由于查询的历史将被记录到日志，所以也可能存在安全风险。
也可以通过设置slowOpThresholdMs参数来指定慢的查询，默认为100ms。
mongod会将大于slowOpThresholdMs指定时间的查询记录到mongod.log日志中。
使用方法：
db.setProfilingLevel(2);
{ "was" : 0, "slowms" : 100, "ok" : 1 }
> db.test.count();
50000
> db.system.profile.find();
{ "op" : "insert", "ns" : "test.test", "query" : { "_id" : ObjectId("55813154648066edd8eda678"), "a" : 48087, "b" : 48088, "c" : 48089, "d" : 48090, "e" : [ 1, 2, 3, 4, 5, 6, 48086 ] }, "ninserted" : 1, "keyUpdates" : 0, "writeConflicts" : 0, "numYield" : 0, "locks" : { "Global" : { "acquireCount" : { "w" : NumberLong(1) } }, "Database" : { "acquireCount" : { "w" : NumberLong(1) } }, "Collection" : { "acquireCount" : { "w" : NumberLong(1) } } }, "millis" : 0, "execStats" : { }, "ts" : ISODate("2015-06-17T08:35:32.967Z"), "client" : "127.0.0.1", "allUsers" : [ { "user" : "maclean", "db" : "test" } ], "user" : "maclean@test" }
选择字典模式
扫描所有的asm磁盘
选择需要的数据文件，也可选择所有的
选择被删除的表，进行unload delete
恢复成功，验证数据
