2億件くらいのデータを取り込んでベンチマークしてみようか…と思ってた。
SQLiteのファイル(sample.db)でサイズは7GBくらい。
取り込み完了後にサーバを見たら結構メモリ食ってるなー
AWSでメモリ31.5GBのインスタンス上に構築していたんだけど、76%も消費してる。
この状態から脱するにはー
SisenseのWebコンソールで、このsampleというキューブを止めてみた。
減った！10GB以上も。
元のファイルサイズ以上にメモリの消費が減ったってことは、ElastiCubeはどれだけのファイルサイズなのか。
ここにElastiCubeのファイルがあるらしい。
C:\ProgramData\Sisense\PrismServer\ElastiCubeData\<ElastiCube名>\dbfarm\asample\bat
元のファイルはCSVファイル7.5GBから取り込み、SQLite上では7GBであったのに対してElastiCubeのファイルは12.3GBに増えているんだね。
因みにカスタム列を１つ追加してるから、これが無かったら、もうちょっと減るのかもしれないけど、元のファイルサイズよりも1.5倍くらいのディスクスペースを占有する感じだ。
ちょっとびっくりな結果。
このフォルダの中身についてはよくわからないけど、おそらく高速化するためにこういう構造になっているんだろう。
よってディスク容量算定の際には、元のファイルより大きくなる可能性もあるよーということだけは留意してね。
ベンチマークの結果は改めてー
ではまた！
