Document toolboxDocument toolbox

Package Comparison Details

Package Comparison Details, by dataset

Female Mouse Liver (UCLA Tutorial)

Modules (3.7% different)

blue green brown red turquoise yellow grey black pink magenta purple greenyellow tan salmon cyan midnightblue lightcyan grey60
  turquoise     522     0     0   0         0    171    0     0    0       0      0           0   0      0    0            0         0      0
  blue            0   373     0   0         0      0    0     0    0       0      0           0   0      0   39            0         0      0
  brown           0     0   358   0         0      0    0     0    0       0      0           0   0      0    0            0         0      0
  yellow          0     0     0 331         0      0    0     0    0       0      0           0   0      0    0            0         0      0
  green           0     0     0   0       323      0    0     0    0       0      0           0   0      0    0            0         0      0
  red             0     0     0   0         0    256    0     0    0       0      0           0   0      0    0            0         0      0
  black           0     0     0   0       203      0    0     0    0       0      0           0   0      0    0            0         0      0
  grey            0     0     0   0         0      0  168     0    0       0      0           0   0      0    0            0         0      0
  pink            0     0     0   0         0      0    0   134    0       0      0           0   0      0    0            0         0      0
  magenta         0     0     0   0         0      0    0     0  122       0      0           0   0      0    0            0         0      0
  purple          0     0     0   0         0      0    0     0    0     120      0           0   0      0    0            0         0      0
  greenyellow     0     0     0   0         0      0    0     0    0       0     99           0   0      0    0            0         0      0
  tan             0     0     0   0         0      0    0     0    0       0      0          86   0      0    0            0         0      0
  salmon          0     0     0   0         0      0    0     0    0       0      0           0  76      0    0            0         0      0
  cyan            0     0    72   0         0      0    0     0    0       0      0           0   0      0    0            0         0      0
  midnightblue    0     0     0   0         0      0    0     0    0       0      0           0   0     43    0            0         0      0
  lightcyan       0     0     0   0         0      0    0     0    0       0      0           0   0      0    0           37         0      0
  grey60          0     0     0   0         0      0    0     0    0       0      0           0   0      0    0            0        34      0
  lightgreen      0     0     0   0         0      0    0     0    0       0      0           0   0      0    0            0         0     33

Cranio Dataset

Soft Threshold Choice

Comparing the Sage code base to the UCLA-based package, we see a difference in the selection of the 'soft threshold' (beta):

Sage power table / Package power table  (The optimum chosen by each is highlighted)

 

Power

p-value

Adj R^2

Truncated Adj R^2

slope

mean(k)

median(k)

max(k)

 

 

Power

SFT.R.sq

slope

truncated.R.sq

mean.k.

median.k.

max.k.

1

1

-1

0.707

0.991

1.18

700

700

1120

 

1

1

0.737

1.14

0.994

700

700

1120

2

1.5

-1

0.231

0.969

0.332

440

424

840

 

2

1.5

0.252

0.298

0.979

440

424

840

3

2

-1

0.0114

0.903

-0.136

296

269

668

 

3

2

0.12

-0.164

0.917

296

269

668

4

2.5

-1

0.523

0.921

-0.444

209

178

549

 

4

2.5

0.623

-0.491

0.901

209

178

549

5

3

-1

0.749

0.914

-0.66

153

120

463

 

5

3

0.788

-0.683

0.904

153

120

463

6

3.5

-1

0.819

0.892

-0.798

115

83.7

399

 

6

3.5

0.863

-0.857

0.889

115

83.7

399

7

4

-1

0.864

0.892

-0.918

89.5

59.4

351

 

7

4

0.895

-0.952

0.894

89.5

59.4

351

8

4.5

-1

0.884

0.888

-1.01

70.9

42.2

313

 

8

4.5

0.906

-1.04

0.887

70.9

42.2

313

9

5

-1

0.879

0.872

-1.08

57.3

30.5

283

 

9

5

0.917

-1.09

0.894

57.3

30.5

283

10

5.5

-1

0.887

0.878

-1.12

47.1

22.6

258

 

10

5.5

0.903

-1.13

0.876

47.1

22.6

258

11

6

-1

0.872

0.864

-1.14

39.3

16.8

237

 

11

6

0.894

-1.14

0.872

39.3

16.8

237

12

6.5

-1

0.853

0.849

-1.16

33.2

12.5

220

 

12

6.5

0.877

-1.17

0.861

33.2

12.5

220

13

7

-1

0.849

0.857

-1.16

28.5

9.75

205

 

13

7

0.868

-1.17

0.863

28.5

9.75

205

14

7.5

-1

0.836

0.861

-1.16

24.7

7.44

193

 

14

7.5

0.869

-1.16

0.888

24.7

7.44

193

15

8

-1

0.831

0.873

-1.15

21.6

5.73

182

 

15

8

0.86

-1.15

0.89

21.6

5.73

182

16

8.5

-1

0.807

0.87

-1.15

19.1

4.43

172

 

16

8.5

0.84

-1.15

0.89

19.1

4.43

172

17

9

-1

0.78

0.858

-1.14

17

3.49

164

 

17

9

0.828

-1.13

0.896

17

3.49

164

18

9.5

-1

0.792

0.889

-1.11

15.3

2.75

156

 

18

9.5

0.825

-1.1

0.912

15.3

2.75

156

19

10

-1

0.782

0.906

-1.09

13.9

2.18

149

 

19

10

0.806

-1.09

0.915

13.9

2.18

149

20

10.5

-1

0.759

0.897

-1.07

12.7

1.74

143

 

20

10.5

0.8

-1.08

0.921

12.7

1.74

143

21

11

-1

0.747

0.902

-1.06

11.6

1.4

138

 

21

11

0.789

-1.06

0.933

11.6

1.4

138

22

11.5

-1

0.752

0.914

-1.04

10.7

1.14

133

 

22

11.5

0.779

-1.04

0.935

10.7

1.14

133

23

12

-1

0.743

0.924

-1.01

9.91

0.926

128

 

23

12

0.779

-1.02

0.947

9.91

0.926

128

Both algorithms try to find the lowest power whose R^2 is above the given threshold (0.90).  If no power achieves the threshold then the threshold is decremented repeatedly by 0.05 until a solution is found.  Since the Sage version finds a maximum of 0.887, it carries out the decrementing procedure.  The UCLA version finds three values just above 0.90, and picks the lowest.

Modules

Unequal beta, module diff=44%

Identical beta, module diff=0.9%

turquoise blue grey
  turquoise      1271  147    0
  blue            648  373    0
  grey             53    0   42

turquoise blue grey
  turquoise      1958    0    0
  blue              0  520    0
  grey             14    0   42

Colon cancer, top 5K genes

Soft Threshold Choice

Cut

p-value

Adj R^2

Truncated Adj R^2

slope

mean(k)

median(k)

max(k)

Power

SFT.R.sq

slope

truncated.R.sq

mean.k.

median.k.

max.k.

1

-1

0.0227

0.628

0.245

1120

1080

2090

1

0.076261431

0.197158442

0.578527312

1124.638974

1080.609612

2089.60932

1.5

-1

0.303

0.63

-0.361

664

583

1560

1.5

0.48169911

-0.404715749

0.667548985

664.3731336

582.9224274

1556.715216

2

-1

0.693

0.795

-0.657

427

330

1220

2

0.804272633

-0.671388746

0.848889263

426.8848938

329.8816149

1215.968849

2.5

-1

0.794

0.851

-0.821

292

195

988

2.5

0.83774129

-0.824722962

0.860045069

291.5785624

194.5178802

987.8658261

3

-1

0.803

0.858

-0.921

209

121

822

3

0.835678099

-0.929654091

0.857157416

208.5830425

120.747754

822.3388256

3.5

-1

0.778

0.843

-1.01

155

77.7

697

3.5

0.854303701

-0.991173832

0.88464139

154.6909499

77.68335319

697.1742337

4

-1

0.797

0.86

-1.06

118

50.4

600

4

0.858882119

-1.038499794

0.896861118

118.0810366

50.39027229

599.5206128

4.5

-1

0.805

0.875

-1.1

92.3

33.2

521

4.5

0.838656539

-1.088724946

0.885484443

92.28466832

33.16210354

521.4428092

5

-1

0.806

0.881

-1.14

73.6

22.7

458

5

0.825292656

-1.128907991

0.87822147

73.55040348

22.67682493

457.77922

5.5

-1

0.796

0.881

-1.17

59.6

15.6

405

5.5

0.83215391

-1.150386899

0.897853335

59.59567098

15.64824143

405.0274823

6

-1

0.804

0.895

-1.2

49

11.1

361

6

0.845996532

-1.170462192

0.912613381

48.974624

11.08447179

360.7272536

6.5

-1

0.802

0.902

-1.22

40.7

8.15

323

6.5

0.847401052

-1.190785046

0.919920844

40.73957671

8.15415001

323.099656

7

-1

0.82

0.916

-1.23

34.3

6

291

7

0.852903615

-1.206125559

0.930763629

34.25083811

6.002829394

290.8269204

7.5

-1

0.824

0.925

-1.25

29.1

4.56

263

7.5

0.853122377

-1.223895553

0.937931424

29.06544208

4.562225559

262.9124211

8

-1

0.828

0.933

-1.26

24.9

3.46

239

8

0.852375009

-1.242759963

0.940436732

24.8696934

3.456350492

238.5887885

8.5

-1

0.837

0.943

-1.28

21.4

2.68

217

8.5

0.864808

-1.252939098

0.94865967

21.43698937

2.680344008

217.2558463

9

-1

0.845

0.948

-1.29

18.6

2.14

198

9

0.868297799

-1.270639687

0.954031038

18.60071642

2.140872759

198.437645

9.5

-1

0.844

0.948

-1.31

16.2

1.79

182

9.5

0.865440466

-1.29104469

0.95381823

16.2364064

1.79054592

181.7520694

10

-1

0.845

0.952

-1.33

14.2

1.55

167

10

0.867269282

-1.305137195

0.956043538

14.24973176

1.546465871

166.888929

10.5

-1

0.828

0.937

-1.36

12.6

1.34

154

10.5

0.844737719

-1.338309611

0.935054066

12.5682699

1.342608295

153.5938942

11

-1

0.839

0.945

-1.37

11.1

1.15

142

11

0.852293764

-1.338837015

0.942845287

11.13575271

1.153365724

141.6565405

11.5

-1

0.798

0.908

-1.41

9.91

1.02

131

11.5

0.822451916

-1.370539998

0.915807049

9.907986177

1.023113579

130.9013282

12

-1

0.805

0.911

-1.42

8.85

0.917

121

12

0.831943361

-1.384756316

0.921983468

8.849912231

0.91731928

121.1807115

Modules

Unequal beta, module diff=11%

Identical beta, module diff=0.5%

turquoise blue brown yellow green grey
  turquoise      2655    1    11      0     0    0
  blue             23  950    45    102    57    0
  brown            24   55   423      1     1    0
  yellow          278    4    73      0     0    0
  green             0    9     0    125     1    0
  grey              0    2     0     61     0   26
  red               0   24     0     49     0    0

turquoise blue brown yellow green grey
  turquoise      2980    0     0      0     0    0
  blue              0  997     0      0     0    0
  brown             0    0   552      0     0    0
  yellow            0   48     0    338     0    0
  green             0    0     0      0    59    0
  grey              0    0     0      0     0   26

Human liver cohort, top 5K genes

Modules

 Identical beta, module diff=1.0%

grey turquoise blue brown yellow green red black
  grey      3573         0    0     0      0     0   0     0
  turquoise   30       730    0     0      0     0   0     0
  blue         0         0  261     0      0     0   0     0
  brown        0         0    0   136      0     0   0     0
  yellow       0         0    0     0    100     0   0     0
  green        0         0    0     0      0    88   0     0
  red          0         0    0     0      0     0  51     0
  black        0         0    0     0      0     0   0    43

Comparison to published results

Module membership of P450 genes in the published Genome Research paper (as gathered from the supplemental materials):

NOT P450
  grey      2005    9
  turquoise 1314   47
  blue       617    0
  brown      451    0
  yellow     192    0
  green      106    0
  red         75    0
  black       71    0
  pink        70    0
  magenta     55    0
i.e. 47/56 are grouped into a single module and the remaining 6 are in no module.

Comparison of newly run Sage code to published modules:

grey turquoise brown blue green yellow red pink black magenta
  grey      2006       677   259  250   106    104  71   70    48      12
  turquoise    4       680     7   16     0      0   2    0    21       0
  blue         4         2     2  253     0      0   0    0     0       0
  brown        0         2   132    0     0      0   2    0     0       0
  yellow       0         0     0   98     0      0   0    0     2       0
  green        0         0     0    0     0     88   0    0     0       0
  red          0         0    51    0     0      0   0    0     0       0
  black        0         0     0    0     0      0   0    0     0      43

There is 39% difference.  Checking the P450 genes:

NOT P450
  grey      3580   23
  turquoise  697   33
  blue       261    0
  brown      136    0
  yellow     100    0
  green       88    0
  red         51    0
  black       43    0

only 33 are grouped together, the remaining ones are unclustered.

The publication says beta was set to 5.5, not 11.  The regression statistics for selecting beta are below, where "Cut" is the value of beta and "Adj R^2" is the value which should exceed a chosen threshold.  When the threshold is set to the nominal value of 0.90 , beta=11 is the smallest value for which "Adj R^2" exceeds the threshold.  The value of 5.5 would be selected if the threshold were set to 0.80.

Cut

p-value

Adj R^2

Truncated Adj R^2

slope

mean(k)

median(k)

max(k)

1

-1

0.12

0.871

0.841

949

939

1640

1.5

-1

-0.0707

0.854

-0.11

508

486

1110

2

-1

0.164

0.895

-0.688

294

268

787

2.5

-1

0.41

0.939

-1.03

181

156

583

3

-1

0.554

0.953

-1.28

117

94.7

445

3.5

-1

0.656

0.966

-1.47

79

59.7

347

4

-1

0.713

0.973

-1.58

54.9

38.4

276

4.5

-1

0.76

0.981

-1.67

39.3

25.3

223

5

-1

0.786

0.983

-1.72

28.8

17

182

5.5

-1

0.801

0.983

-1.75

21.5

11.7

150

6

-1

0.821

0.987

-1.78

16.4

8.33

125

6.5

-1

0.825

0.979

-1.79

12.7

6.04

104

7

-1

0.824

0.969

-1.8

10

4.5

88.1

7.5

-1

0.83

0.971

-1.8

8.03

3.35

74.8

8

-1

0.835

0.977

-1.79

6.52

2.54

63.9

8.5

-1

0.843

0.983

-1.77

5.36

1.93

54.8

9

-1

0.849

0.984

-1.74

4.45

1.53

47.2

9.5

-1

0.845

0.975

-1.72

3.75

1.22

40.9

10

-1

0.859

0.976

-1.66

3.19

0.994

35.5

10.5

-1

0.873

0.973

-1.61

2.74

0.835

31

11

-1

0.904

0.98

-1.53

2.38

0.694

27.1

11.5

-1

0.907

0.983

-1.53

2.08

0.564

24.7

12

-1

0.877

0.963

-1.58

1.84

0.462

23.4

We reran the Sage code with beta=5.5:

grey blue turquoise brown yellow green red black pink magenta
  grey          971    0         0     0      0     0   0     0    0       0
  blue            4  617         0     0      0     0   0     0    0       0
  brown           0    0       602     0      0     0   0     0    0       0
  turquoise     170    0         0   439      0     0  75     0    0       0
  yellow          5    0       347     0      0     0   0     0    0       0
  green           0    0       272     0      0     0   0     0    0       0
  red            39    0         0     0    192     0   0     0    0       0
  magenta       148    0         0     0      0     0   0     0    0       0
  black         126    0         0    12      0     0   0     0   70       0
  pink           58    0         0     0      0   106   0     0    0       0
  purple          0    0       104     0      0     0   0     0    0       0
  tan            80    0         0     0      0     0   0     0    0       0
  greenyellow    18    0         0     0      0     0   0    71    0       0
  salmon         59    0         0     0      0     0   0     0    0       0
  cyan           56    0         0     0      0     0   0     0    0       0
  midnightblue    0    0         0     0      0     0   0     0    0      55
  lightcyan      45    0         0     0      0     0   0     0    0       0
  lightgreen     44    0         0     0      0     0   0     0    0       0
  grey60         44    0         0     0      0     0   0     0    0       0
  lightyellow    39    0         0     0      0     0   0     0    0       0
  coral          38    0         0     0      0     0   0     0    0       0
  sienna          0    0        36     0      0     0   0     0    0       0
  gold           36    0         0     0      0     0   0     0    0       0
  peru           34    0         0     0      0     0   0     0    0       0

and still got 18% difference in module membership.  Checking the P450 genes:

NOT P450
  grey         966    5
  turquoise    682    2
  blue         621    0
  brown        591   11
  yellow       349    3
  green        244   28
  red          231    0
  black        208    0
  pink         164    0
  magenta      148    0
  purple       101    3
  greenyellow   89    0
  tan           80    0
  salmon        59    0
  cyan          56    0
  midnightblue  55    0
  lightcyan     45    0
  lightgreen    44    0
  grey60        44    0
  lightyellow   39    0
  coral         38    0
  sienna        34    2
  peru          34    0
  gold          34    2

i.e. 28 are grouped together.  The rest are scattered across modules.



PARC

Modules

Unequal beta, module diff=4.7%

identical beta, module diff=0.6%

grey turquoise brown blue yellow red green black magenta purple greenyellow pink
  grey        16718         4     0    1      4   1     6     8       1      1           0   17
  blue           47       226     0    0      0   0     0     0       0      0           0    0
  brown          16         0   194    0      0   0     0     0       0      0           0    0
  turquoise      80         0     0  185      0   0     3    51       0      0           0    0
  yellow         25         0     0    0    114   0     0     0       0      0           0    0
  green          26         0     0    5      0 102     0     0       0      0           0    0
  red            19         0     0    2      0   0   100     0       0      0           0    0
  pink           68         0     0    0      0   0     0     0       0      0           0    0
  magenta        11         0     0    0      0   0     0     0      45      0           0    0
  black          45        22     0    4      0   0     0    44       0      0           0    0
  purple          6         0     0    0      0   0     0     0       0     43           0    0
  salmon         36         0     0    0      0   0     0     0       0      0           0    0
  greenyellow     6         0     0    0      0   0     0     0       0      0          36    0
  tan             2         0     0    0      0   0     0     0       0      0           0   35
  cyan           32         0     0    0      0   0     0     0       0      0           0    0

grey turquoise blue brown yellow green black red pink magenta purple greenyellow
  grey      17091         3    0     0      0     0     2   2    0       0      1           0
  blue         13       247    0     0      0     0     2   0    0       0      0           0
  turquoise    21         2  197     0      0   109    99   3    0       0      0           0
  brown         0         0    0   194      0     0     0   0    0       0      0           0
  yellow        0         0    0     0    118     0     0   0    0       0      0           0
  green         3         0    0     0      0     0     0  98    0       0      0           0
  black         0         0    0     0      0     0     0   0   52       0      0           0
  red           9         0    0     0      0     0     0   0    0      46      0           0
  pink          0         0    0     0      0     0     0   0    0       0     43           0
  magenta       0         0    0     0      0     0     0   0    0       0      0          36

Methylation (full set)

Soft Threshold Choice

Cut

p-value

Adj R^2

Truncated Adj R^2

slope

mean(k)

median(k)

max(k)

Power

SFT.R.sq

slope

truncated.R.sq

mean.k.

median.k.

max.k.

1

-1

-0.00512

-0.0562

0.247

2120

2230

3640

1

0.039759972

0.169460948

-0.042121587

7249.755797

7583.706845

12508.45604

1.5

-1

0.0167

0.413

-0.215

1410

1350

2880

1.5

0.140389955

-0.269553255

0.59303507

4828.992487

4542.145536

10029.03836

2

-1

0.184

0.688

-0.366

1020

845

2400

2

0.276562808

-0.390168503

0.631322022

3491.738926

2824.215768

8386.544599

2.5

-1

0.257

0.645

-0.414

778

541

2040

2.5

0.362446542

-0.458433391

0.523661313

2655.348672

1808.299631

7173.887246

3

-1

0.323

0.563

-0.453

611

356

1760

3

0.42871745

-0.515750913

0.431061197

2086.334341

1176.893287

6223.960796

3.5

-1

0.386

0.51

-0.49

491

238

1540

3.5

0.46604534

-0.560354757

0.369873339

1676.348853

781.2514422

5452.12826

4

-1

0.451

0.509

-0.516

401

160

1350

4

0.493523645

-0.60630005

0.358279952

1368.885142

527.8374153

4809.805129

4.5

-1

0.504

0.513

-0.545

331

112

1190

4.5

0.51122219

-0.643452727

0.371756376

1131.587843

368.4541959

4266.321824

5

-1

0.542

0.521

-0.577

276

81

1050

5

0.522934331

-0.681405777

0.399981701

944.5030783

259.4558865

3800.880221

5.5

-1

0.571

0.536

-0.608

232

57.9

939

5.5

0.532765178

-0.72250099

0.440336737

794.5816675

186.1875426

3398.594443

6

-1

0.588

0.556

-0.636

196

42.3

838

6

0.543038666

-0.754901305

0.481364519

672.8857753

135.1591844

3048.3654

6.5

-1

0.612

0.591

-0.664

167

30.8

750

6.5

0.546592526

-0.787367292

0.521630192

573.065346

99.6082135

2741.653967

7

-1

0.635

0.628

-0.688

143

23

673

7

0.546688103

-0.824100826

0.556997344

490.4753338

72.92787987

2471.728523

7.5

-1

0.634

0.646

-0.724

123

17.1

606

7.5

0.540586249

-0.867631489

0.58655908

421.6371568

54.2456294

2233.179306

8

-1

0.652

0.682

-0.744

106

12.7

547

8

0.548418618

-0.896985225

0.619099353

363.8954176

40.26400042

2021.591247

8.5

-1

0.646

0.691

-0.776

91.5

9.69

494

8.5

0.564768173

-0.919427493

0.659981637

315.1907849

30.24453177

1833.315466

9

-1

0.65

0.714

-0.803

79.5

7.35

448

9

0.571866178

-0.945524396

0.689291949

273.9048972

22.6602808

1665.30474

9.5

-1

0.633

0.716

-0.84

69.2

5.47

406

9.5

0.573099177

-0.977455448

0.712350288

238.7515604

17.41343565

1514.991934

10

-1

0.625

0.727

-0.867

60.5

4.25

369

10

0.578839688

-1.000683008

0.734565322

208.6986492

13.25463367

1380.198191

10.5

-1

0.626

0.742

-0.893

53

3.29

336

10.5

0.588455603

-1.026903911

0.755386914

182.9109323

10.10196054

1259.062284

11

-1

0.643

0.769

-0.905

46.5

2.61

306

11

0.597054452

-1.052133963

0.775670911

160.707503

7.788443435

1149.985372

11.5

-1

0.657

0.79

-0.926

40.9

2.05

279

11.5

0.608963051

-1.071230234

0.793960474

141.5296132

6.067481982

1051.587206

12

-1

0.669

0.809

-0.941

36.1

1.57

255

12

0.605496603

-1.104019616

0.800156429

124.9160557

4.734398295

962.6709874

Modules

Unequal beta, module diff=14%

Identical beta, module diff=0.2%

turquoise grey blue brown yellow green red pink magenta black purple
  turquoise     13693    0    0     1     14     0   0    0       0     0      0
  grey           1302 8623  757   459    304   116 106   11      40    39     32
  blue             42    2 1139     1      2     0   0    0       0     0      0
  brown             1    0    0     0      0   277   0    0       0     0      0
  green           180    2    0     0      3     0   0    0       0     0      0
  yellow           45    0    0    73    100     0   0    0       0     0      0
  red              28    0    0    85      3     0   0    0       0     0      0
  black             8    0    0     0      0     0   0   51       0     0      0
  pink              0    0    0     0      0     0   0    0       0    39      0

  turquoise grey blue brown yellow green red black pink magenta purple
  turquoise       15263    0    0     0     17     0   0     0    0       0      0
  grey                1 8619    2     4      0     0   0     0    0       0      1
  blue                0    0 1894     1      1     0   0     0    0       0      0
  brown               1    6    0   532      4     0   0     0    0       0      0
  yellow             34    1    0     2    404     0   0     0    0       0      0
  green               0    0    0     0      0   393   0     0    0       0      0
  red                 0    1    0     0      0     0 106     0    0       0      0
  black               0    0    0    80      0     0   0     0    0       0      0
  pink                0    0    0     0      0     0   0    78    0       0      0
  magenta             0    0    0     0      0     0   0     0   62       0      0
  purple              0    0    0     0      0     0   0     0    0      40      0
  greenyellow         0    0    0     0      0     0   0     0    0       0     31