git.net

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

CompactionExecutor hangup and MemtableFlushWriter blocked


Hi guys, my cassandra cluster run in strange state. 
all nodes CompactionExecutor hangup and blocked. MemtableFlushWriter blocked and pending task keep increasing. 
All nodes. nodetool tpstats output like :
Pool Name                         Active   Pending      Completed   Blocked  All time blocked
ReadStage                              0         0        5269585         0                 0
MiscStage                              0         0              0         0                 0
CompactionExecutor                    12        12          13083         0                 0
MutationStage                          0         0        3406883         0                 0
GossipStage                            0         0         322048         0                 0
RequestResponseStage                   0         0         644613         0                 0
ReadRepairStage                        0         0              0         0                 0
CounterMutationStage                   0         0              0         0                 0
MemtablePostFlush                      1        47            468         0                 0
ValidationExecutor                     0         0             10         0                 0
MemtableFlushWriter                    1        47            435         0                 0
ViewMutationStage                      0         0              0         0                 0
CacheCleanupExecutor                   0         0              0         0                 0
MemtableReclaimMemory                  0         0            435         0                 0
PendingRangeCalculator                 0         0             10         0                 0
SecondaryIndexManagement               0         0              0         0                 0
HintsDispatcher                        0         0              0         0                 0
PerDiskMemtableFlushWriter_1           0         0            428         0                 0
Native-Transport-Requests              0         0       10920163         0                 4
PerDiskMemtableFlushWriter_2           0         0            428         0                 0
MigrationStage                         0         0              0         0                 0
PerDiskMemtableFlushWriter_0           0         0            435         0                 0
Sampler                                0         0              0         0                 0
PerDiskMemtableFlushWriter_5           0         0            428         0                 0
InternalResponseStage                  0         0             10         0                 0
PerDiskMemtableFlushWriter_6           0         0            428         0                 0
PerDiskMemtableFlushWriter_3           0         0            428         0                 0
PerDiskMemtableFlushWriter_4           0         0            428         0                 0
AntiEntropyStage                       0         0             40         0                 0
PerDiskMemtableFlushWriter_7           0         0            428         0                 0

Message type           Dropped
READ                         0
RANGE_SLICE                  0
_TRACE                       0
HINT                         0
MUTATION                     0
COUNTER_MUTATION             0
BATCH_STORE                  0
BATCH_REMOVE                 0
REQUEST_RESPONSE             0
PAGED_RANGE                  0
READ_REPAIR                  0

Restart cluster dose work.
Look forward to your reply.thanks