What is using all of kernel memory?

I’m a bit stuck on figuring out what is consuming memory on this machine. There is only about 1.6G used by user processes but some 96G used by the kernel. For what? How can I tell?

/proc/meminfo:

MemTotal:       131337192 kB
MemFree:        27018232 kB
MemAvailable:   27579720 kB
Buffers:            6324 kB
Cached:          1377192 kB
SwapCached:       271724 kB
Active:          1414264 kB
Inactive:        1625108 kB
Active(anon):     871332 kB
Inactive(anon):   815296 kB
Active(file):     542932 kB
Inactive(file):   809812 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:       4194300 kB
SwapFree:        2769200 kB
Dirty:                 0 kB
Writeback:             0 kB
AnonPages:       1516864 kB
Mapped:           167228 kB
Shmem:             30772 kB
KReclaimable:     116424 kB
Slab:             427500 kB
SReclaimable:     116424 kB
SUnreclaim:       311076 kB
KernelStack:       10528 kB
PageTables:        22052 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:    69862896 kB
Committed_AS:    4599732 kB
VmallocTotal:   34359738367 kB
VmallocUsed:      153072 kB
VmallocChunk:          0 kB
Percpu:            34752 kB
HardwareCorrupted:     0 kB
AnonHugePages:   1062912 kB
ShmemHugePages:        0 kB
ShmemPmdMapped:        0 kB
FileHugePages:         0 kB
FilePmdMapped:         0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
Hugetlb:               0 kB
DirectMap4k:      428540 kB
DirectMap2M:    15167488 kB
DirectMap1G:    120586240 kB
smem -kt -c "command swap uss pss rss" -s uss
Command                         Swap      USS      PSS      RSS
...
/usr/sbin/smartd -n -q neve   968.0K   548.0K   626.0K     1.6M
/usr/sbin/certmonger -S -p    964.0K   768.0K   837.0K     2.1M
/usr/lib/systemd/systemd-ud     3.6M   780.0K     1.0M     3.1M
/usr/bin/dbus-daemon --syst   540.0K   872.0K     1.0M     2.8M
/usr/libexec/sssd/sssd_auto     1.0M   948.0K     1.7M     6.4M
/usr/lib/polkit-1/polkitd -     8.6M     1.0M     1.8M     4.1M
/usr/sbin/sssd -i --logger=     1.2M     1.1M     1.3M     3.9M
/usr/libexec/sssd/sssd_ssh    848.0K     1.3M     2.9M    10.2M
/usr/libexec/sssd/sssd_sudo   888.0K     1.3M     2.2M     7.2M
/usr/sbin/automount --syste     2.2M     1.3M     1.8M     4.3M
/usr/lib/systemd/systemd-lo     1.3M     1.4M     1.8M     4.5M
/usr/sbin/rpc.gssd              1.4M     1.7M     2.6M     6.6M
/usr/libexec/sssd/sssd_pac      1.7M     1.8M     2.3M     5.9M
/usr/lib/systemd/systemd --     2.2M     1.8M     3.7M     8.0M
/usr/libexec/sssd/sssd_pam      1.0M     1.8M     2.6M     7.8M
/usr/sbin/upsmon -F             1.0M     1.9M     2.0M     2.9M
/usr/sbin/gssproxy -D           1.8M     2.0M     2.9M     7.0M
(sd-pam)                        2.0M     2.2M     3.2M     5.5M
/usr/lib/systemd/systemd --        0     2.3M     4.0M     9.4M
-bash                              0     2.5M     3.1M     5.1M
sshd: root [priv]                  0     2.5M     4.9M    12.2M
/usr/libexec/platform-pytho    15.3M     2.6M     3.5M     5.6M
/usr/sbin/rsyslogd -n          17.0M     2.7M     6.2M    13.6M
/sbin/amsHelper -f              1.6M     2.9M     2.9M     4.1M
/usr/bin/sge_execd            912.0K     3.7M     3.7M     5.2M
pickup -l -t unix -u               0     4.0M     5.3M    10.2M
/usr/sbin/NetworkManager --     3.6M     4.0M     4.8M     7.1M
/usr/libexec/sssd/sssd_nss    888.0K     5.0M     6.7M    12.9M
/usr/libexec/sssd/sssd_be -     3.3M     9.8M    11.5M    18.9M
/usr/libexec/platform-pytho        0    10.9M    12.3M    16.2M
/usr/lib/systemd/systemd-jo     1.5M    17.5M    30.4M    48.7M
/data/SOLMAG/graham/spheric   253.9M   132.1M   132.2M   132.7M
/data/SOLMAG/graham/spheric   253.9M   133.9M   134.0M   134.5M
/opt/LansweeperAgent/LSAgen     4.1M   148.8M   152.5M   159.5M
/data/SOLMAG/graham/spheric   214.1M   172.0M   172.1M   172.5M
/data/SOLMAG/graham/spheric   212.2M   177.9M   178.0M   178.4M
/data/SOLMAG/graham/spheric    93.1M   368.2M   368.7M   370.7M
/data/SOLMAG/graham/spheric    94.2M   371.2M   371.8M   373.8M
----------------------------------------------------------------
                                1.2G     1.6G     1.6G     1.8G
# smem -ktw
Area                           Used      Cache   Noncache
firmware/hardware                 0          0          0
kernel image                      0          0          0
kernel dynamic memory         97.9G       1.3G      96.6G
userspace memory               1.6G     164.0M       1.5G
free memory                   25.8G      25.8G          0
----------------------------------------------------------
                             125.3G      27.2G      98.1G

/proc/slabinfo:

slabinfo - version: 2.1
# name            <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail>
nfs4_xattr_cache_cache      0      0   2128   15    8 : tunables    0    0    0 : slabdata      0      0      0
nfs_direct_cache       0      0    256   32    2 : tunables    0    0    0 : slabdata      0      0      0
nfs_commit_data     2016   2016    768   42    8 : tunables    0    0    0 : slabdata     48     48      0
nfs_write_data      9010   9214    960   34    8 : tunables    0    0    0 : slabdata    271    271      0
nfs_read_data       5780   6086    960   34    8 : tunables    0    0    0 : slabdata    179    179      0
nfs_inode_cache     3741   3973   1096   29    8 : tunables    0    0    0 : slabdata    137    137      0
nfs_page           14912  15232    128   32    1 : tunables    0    0    0 : slabdata    476    476      0
fscache_cookie_jar    990    990    136   30    1 : tunables    0    0    0 : slabdata     33     33      0
nf_conntrack_expect      0      0    248   33    2 : tunables    0    0    0 : slabdata      0      0      0
nf_conntrack        3111   3315    320   51    4 : tunables    0    0    0 : slabdata     65     65      0
nf-frags               0      0    224   36    2 : tunables    0    0    0 : slabdata      0      0      0
kvm_async_pf           0      0    168   48    2 : tunables    0    0    0 : slabdata      0      0      0
kvm_vcpu               0      0  11008    1    4 : tunables    0    0    0 : slabdata      0      0      0
kvm_mmu_page_header      0      0    192   42    2 : tunables    0    0    0 : slabdata      0      0      0
pte_list_desc          0      0    128   32    1 : tunables    0    0    0 : slabdata      0      0      0
x86_emulator           0      0   2656   12    8 : tunables    0    0    0 : slabdata      0      0      0
fat_inode_cache      246    246    792   41    8 : tunables    0    0    0 : slabdata      6      6      0
fat_cache              0      0     40  102    1 : tunables    0    0    0 : slabdata      0      0      0
ioat_sed_ent           0      0     32  128    1 : tunables    0    0    0 : slabdata      0      0      0
ioat                 128    448    128   32    1 : tunables    0    0    0 : slabdata     14     14      0
rpc_inode_cache     2070   2070    704   46    8 : tunables    0    0    0 : slabdata     45     45      0
rpc_buffers         1744   1776   2048   16    8 : tunables    0    0    0 : slabdata    111    111      0
rpc_tasks           7904   8064    256   32    2 : tunables    0    0    0 : slabdata    252    252      0
xfs_dqtrx              0      0    528   31    4 : tunables    0    0    0 : slabdata      0      0      0
xfs_dquot              0      0    496   33    4 : tunables    0    0    0 : slabdata      0      0      0
xfs_buf             7632   7632    448   36    4 : tunables    0    0    0 : slabdata    212    212      0
xfs_bui_item        2040   2040    200   40    2 : tunables    0    0    0 : slabdata     51     51      0
xfs_bud_item        2208   2208    168   48    2 : tunables    0    0    0 : slabdata     46     46      0
xfs_cui_item        1558   1900    424   38    4 : tunables    0    0    0 : slabdata     50     50      0
xfs_cud_item        3792   3792    168   48    2 : tunables    0    0    0 : slabdata     79     79      0
xfs_rui_item           0      0    680   48    8 : tunables    0    0    0 : slabdata      0      0      0
xfs_rud_item           0      0    168   48    2 : tunables    0    0    0 : slabdata      0      0      0
xfs_icr                0      0    176   46    2 : tunables    0    0    0 : slabdata      0      0      0
xfs_ili            15478  15834    192   42    2 : tunables    0    0    0 : slabdata    377    377      0
xfs_inode           9283   9330   1088   30    8 : tunables    0    0    0 : slabdata    311    311      0
xfs_efi_item        3002   3002    424   38    4 : tunables    0    0    0 : slabdata     79     79      0
xfs_efd_item        3034   3034    432   37    4 : tunables    0    0    0 : slabdata     82     82      0
xfs_buf_item        2480   2480    264   31    2 : tunables    0    0    0 : slabdata     80     80      0
xfs_trans           1680   1680    232   35    2 : tunables    0    0    0 : slabdata     48     48      0
xfs_ifork          31449  31926     40  102    1 : tunables    0    0    0 : slabdata    313    313      0
xfs_da_state        1564   1564    480   34    4 : tunables    0    0    0 : slabdata     46     46      0
xfs_btree_cur       1776   1776    216   37    2 : tunables    0    0    0 : slabdata     48     48      0
xfs_extfree_intent   3072   3072     64   64    1 : tunables    0    0    0 : slabdata     48     48      0
xfs_log_ticket      2112   2112    184   44    2 : tunables    0    0    0 : slabdata     48     48      0
sd_ext_cdb           128    128     32  128    1 : tunables    0    0    0 : slabdata      1      1      0
bio-160             2730   2730    192   42    2 : tunables    0    0    0 : slabdata     65     65      0
scsi_sense_cache    1312   1312    128   32    1 : tunables    0    0    0 : slabdata     41     41      0
zswap_entry            0      0     56   73    1 : tunables    0    0    0 : slabdata      0      0      0
MPTCPv6                0      0   2304   14    8 : tunables    0    0    0 : slabdata      0      0      0
ip6-frags              0      0    224   36    2 : tunables    0    0    0 : slabdata      0      0      0
fib6_nodes           448    448     64   64    1 : tunables    0    0    0 : slabdata      7      7      0
ip6_dst_cache       2040   2040    320   51    4 : tunables    0    0    0 : slabdata     40     40      0
ip6_mrt_cache          0      0    192   42    2 : tunables    0    0    0 : slabdata      0      0      0
PINGv6                 0      0   1344   24    8 : tunables    0    0    0 : slabdata      0      0      0
RAWv6                168    168   1344   24    8 : tunables    0    0    0 : slabdata      7      7      0
UDPLITEv6              0      0   1472   22    8 : tunables    0    0    0 : slabdata      0      0      0
UDPv6                616    616   1472   22    8 : tunables    0    0    0 : slabdata     28     28      0
tw_sock_TCPv6        540    540    272   30    2 : tunables    0    0    0 : slabdata     18     18      0
request_sock_TCPv6      0      0    336   48    4 : tunables    0    0    0 : slabdata      0      0      0
TCPv6                432    432   2624   12    8 : tunables    0    0    0 : slabdata     36     36      0
uhci_urb_priv          0      0     56   73    1 : tunables    0    0    0 : slabdata      0      0      0
sgpool-128           920    968   4096    8    8 : tunables    0    0    0 : slabdata    121    121      0
sgpool-64           1968   1968   2048   16    8 : tunables    0    0    0 : slabdata    123    123      0
sgpool-32           2304   2304   1024   32    8 : tunables    0    0    0 : slabdata     72     72      0
sgpool-16           2592   2592    512   32    4 : tunables    0    0    0 : slabdata     81     81      0
sgpool-8            6560   6560    256   32    2 : tunables    0    0    0 : slabdata    205    205      0
btree_node             0      0    128   32    1 : tunables    0    0    0 : slabdata      0      0      0
bfq_io_cq              0      0    232   35    2 : tunables    0    0    0 : slabdata      0      0      0
bfq_queue              0      0    560   29    4 : tunables    0    0    0 : slabdata      0      0      0
mqueue_inode_cache     32     32   1024   32    8 : tunables    0    0    0 : slabdata      1      1      0
kioctx                 0      0    704   46    8 : tunables    0    0    0 : slabdata      0      0      0
aio_kiocb              0      0    192   42    2 : tunables    0    0    0 : slabdata      0      0      0
userfaultfd_ctx_cache      0      0    192   42    2 : tunables    0    0    0 : slabdata      0      0      0
fanotify_perm_event      0      0     88   46    1 : tunables    0    0    0 : slabdata      0      0      0
fanotify_event         0      0     56   73    1 : tunables    0    0    0 : slabdata      0      0      0
fsnotify_mark          0      0     72   56    1 : tunables    0    0    0 : slabdata      0      0      0
dnotify_mark           0      0     80   51    1 : tunables    0    0    0 : slabdata      0      0      0
dnotify_struct         0      0     32  128    1 : tunables    0    0    0 : slabdata      0      0      0
dio                    0      0    640   51    8 : tunables    0    0    0 : slabdata      0      0      0
bio-248               32     32    256   32    2 : tunables    0    0    0 : slabdata      1      1      0
fasync_cache           0      0     48   85    1 : tunables    0    0    0 : slabdata      0      0      0
audit_tree_mark        0      0     80   51    1 : tunables    0    0    0 : slabdata      0      0      0
pid_namespace          0      0    248   33    2 : tunables    0    0    0 : slabdata      0      0      0
posix_timers_cache    330    330    272   30    2 : tunables    0    0    0 : slabdata     11     11      0
UNIX                1568   1568   1152   28    8 : tunables    0    0    0 : slabdata     56     56      0
ip4-frags              0      0    240   34    2 : tunables    0    0    0 : slabdata      0      0      0
ip_mrt_cache           0      0    192   42    2 : tunables    0    0    0 : slabdata      0      0      0
UDP-Lite               0      0   1280   25    8 : tunables    0    0    0 : slabdata      0      0      0
MPTCP                  0      0   2176   15    8 : tunables    0    0    0 : slabdata      0      0      0
request_sock_subflow      0      0    408   40    4 : tunables    0    0    0 : slabdata      0      0      0
tcp_bind_bucket     1568   1568    128   32    1 : tunables    0    0    0 : slabdata     49     49      0
inet_peer_cache       42     42    192   42    2 : tunables    0    0    0 : slabdata      1      1      0
secpath_cache          0      0    128   32    1 : tunables    0    0    0 : slabdata      0      0      0
xfrm_dst_cache         0      0    448   36    4 : tunables    0    0    0 : slabdata      0      0      0
xfrm_state             0      0    896   36    8 : tunables    0    0    0 : slabdata      0      0      0
ip_fib_trie          340    340     48   85    1 : tunables    0    0    0 : slabdata      4      4      0
ip_fib_alias         292    292     56   73    1 : tunables    0    0    0 : slabdata      4      4      0
ip_dst_cache        1536   1536    256   32    2 : tunables    0    0    0 : slabdata     48     48      0
PING                   0      0   1152   28    8 : tunables    0    0    0 : slabdata      0      0      0
RAW                  252    252   1152   28    8 : tunables    0    0    0 : slabdata      9      9      0
UDP                 1250   1250   1280   25    8 : tunables    0    0    0 : slabdata     50     50      0
tw_sock_TCP         1050   1050    272   30    2 : tunables    0    0    0 : slabdata     35     35      0
request_sock_TCP    1296   1296    336   48    4 : tunables    0    0    0 : slabdata     27     27      0
TCP                  624    624   2496   13    8 : tunables    0    0    0 : slabdata     48     48      0
hugetlbfs_inode_cache     96     96    680   48    8 : tunables    0    0    0 : slabdata      2      2      0
dquot                  0      0    256   32    2 : tunables    0    0    0 : slabdata      0      0      0
bio-280             4947   4947    320   51    4 : tunables    0    0    0 : slabdata     97     97      0
eventpoll_pwq       2688   2688     72   56    1 : tunables    0    0    0 : slabdata     48     48      0
eventpoll_epi       2208   2208    128   32    1 : tunables    0    0    0 : slabdata     69     69      0
inotify_inode_mark   2448   2448     80   51    1 : tunables    0    0    0 : slabdata     48     48      0
dax_cache             36     36    896   36    8 : tunables    0    0    0 : slabdata      1      1      0
request_queue         12     12   2712   12    8 : tunables    0    0    0 : slabdata      1      1      0
blkdev_ioc          1428   1428    144   28    1 : tunables    0    0    0 : slabdata     51     51      0
bio-224            11200  11360    256   32    2 : tunables    0    0    0 : slabdata    355    355      0
biovec-max           668    700   8192    4    8 : tunables    0    0    0 : slabdata    175    175      0
biovec-128           768    768   2048   16    8 : tunables    0    0    0 : slabdata     48     48      0
biovec-64           1536   1536   1024   32    8 : tunables    0    0    0 : slabdata     48     48      0
biovec-16           2048   2048    256   32    2 : tunables    0    0    0 : slabdata     64     64      0
bio_integrity_payload     32     32    256   32    2 : tunables    0    0    0 : slabdata      1      1      0
khugepaged_mm_slot   1728   1728    112   36    1 : tunables    0    0    0 : slabdata     48     48      0
ksm_mm_slot            0      0     48   85    1 : tunables    0    0    0 : slabdata      0      0      0
ksm_stable_node        0      0     64   64    1 : tunables    0    0    0 : slabdata      0      0      0
ksm_rmap_item          0      0     64   64    1 : tunables    0    0    0 : slabdata      0      0      0
user_namespace         0      0    632   51    8 : tunables    0    0    0 : slabdata      0      0      0
uid_cache           1386   1386    192   42    2 : tunables    0    0    0 : slabdata     33     33      0
iommu_iova             0      0     64   64    1 : tunables    0    0    0 : slabdata      0      0      0
dmaengine-unmap-256     15     15   2112   15    8 : tunables    0    0    0 : slabdata      1      1      0
dmaengine-unmap-128     30     30   1088   30    8 : tunables    0    0    0 : slabdata      1      1      0
dmaengine-unmap-16     42     42    192   42    2 : tunables    0    0    0 : slabdata      1      1      0
dmaengine-unmap-2     64     64     64   64    1 : tunables    0    0    0 : slabdata      1      1      0
audit_buffer        8160   8160     24  170    1 : tunables    0    0    0 : slabdata     48     48      0
sock_inode_cache    2622   2622    704   46    8 : tunables    0    0    0 : slabdata     57     57      0
skbuff_ext_cache       0      0     64   64    1 : tunables    0    0    0 : slabdata      0      0      0
skbuff_fclone_cache   5264   5488    576   28    4 : tunables    0    0    0 : slabdata    196    196      0
skbuff_head_cache  12281  12576    256   32    2 : tunables    0    0    0 : slabdata    393    393      0
configfs_dir_cache     46     46     88   46    1 : tunables    0    0    0 : slabdata      1      1      0
file_lock_cache     1776   1776    216   37    2 : tunables    0    0    0 : slabdata     48     48      0
file_lock_ctx       3285   3285     56   73    1 : tunables    0    0    0 : slabdata     45     45      0
fsnotify_mark_connector   8160   8160     24  170    1 : tunables    0    0    0 : slabdata     48     48      0
net_namespace          4      4   8064    4    8 : tunables    0    0    0 : slabdata      1      1      0
x86_lbr                0      0    800   40    8 : tunables    0    0    0 : slabdata      0      0      0
task_delay_info     3621   3621     80   51    1 : tunables    0    0    0 : slabdata     71     71      0
taskstats           2256   2256    344   47    4 : tunables    0    0    0 : slabdata     48     48      0
proc_dir_entry      2880   2880    256   32    2 : tunables    0    0    0 : slabdata     90     90      0
pde_opener          4896   4896     40  102    1 : tunables    0    0    0 : slabdata     48     48      0
proc_inode_cache   18188  18360    728   45    8 : tunables    0    0    0 : slabdata    408    408      0
seq_file            2496   2496    128   32    1 : tunables    0    0    0 : slabdata     78     78      0
sigqueue            2499   2499     80   51    1 : tunables    0    0    0 : slabdata     49     49      0
bdev_cache           238    238    960   34    8 : tunables    0    0    0 : slabdata      7      7      0
shmem_inode_cache   3234   3234    776   42    8 : tunables    0    0    0 : slabdata     77     77      0
kernfs_iattrs_cache   5151   5151     80   51    1 : tunables    0    0    0 : slabdata    101    101      0
kernfs_node_cache  75008  75008    128   32    1 : tunables    0    0    0 : slabdata   2344   2344      0
mnt_cache           3066   3066    384   42    4 : tunables    0    0    0 : slabdata     73     73      0
filp               15241  15808    256   32    2 : tunables    0    0    0 : slabdata    494    494      0
inode_cache        36995  36995    656   49    8 : tunables    0    0    0 : slabdata    755    755      0
dentry             68615  69090    192   42    2 : tunables    0    0    0 : slabdata   1645   1645      0
names_cache          384    384   4096    8    8 : tunables    0    0    0 : slabdata     48     48      0
hashtab_node       17680  17680     24  170    1 : tunables    0    0    0 : slabdata    104    104      0
ebitmap_node       49216  49216     64   64    1 : tunables    0    0    0 : slabdata    769    769      0
avtab_extended_perms      0      0     40  102    1 : tunables    0    0    0 : slabdata      0      0      0
avtab_node        142630 142630     24  170    1 : tunables    0    0    0 : slabdata    839    839      0
avc_xperms_data        0      0     32  128    1 : tunables    0    0    0 : slabdata      0      0      0
avc_xperms_decision_node      0      0     48   85    1 : tunables    0    0    0 : slabdata      0      0      0
avc_xperms_node        0      0     56   73    1 : tunables    0    0    0 : slabdata      0      0      0
avc_node           28616  28616     72   56    1 : tunables    0    0    0 : slabdata    511    511      0
iint_cache             0      0    120   34    1 : tunables    0    0    0 : slabdata      0      0      0
lsm_inode_cache    72382  72576     64   64    1 : tunables    0    0    0 : slabdata   1134   1134      0
lsm_file_cache     15616  15616     16  256    1 : tunables    0    0    0 : slabdata     61     61      0
key_jar             1536   1536    256   32    2 : tunables    0    0    0 : slabdata     48     48      0
buffer_head         1560   1560    104   39    1 : tunables    0    0    0 : slabdata     40     40      0
uts_namespace          0      0    440   37    4 : tunables    0    0    0 : slabdata      0      0      0
nsproxy              784    784     72   56    1 : tunables    0    0    0 : slabdata     14     14      0
vm_area_struct     29696  29750    232   35    2 : tunables    0    0    0 : slabdata    850    850      0
mm_struct           1134   1134   1536   21    8 : tunables    0    0    0 : slabdata     54     54      0
fs_cache            3136   3136     64   64    1 : tunables    0    0    0 : slabdata     49     49      0
files_cache         2300   2300    704   46    8 : tunables    0    0    0 : slabdata     50     50      0
signal_cache        3224   3325   1280   25    8 : tunables    0    0    0 : slabdata    133    133      0
sighand_cache       2456   2475   2112   15    8 : tunables    0    0    0 : slabdata    165    165      0
task_struct          886    906  10240    3    8 : tunables    0    0    0 : slabdata    302    302      0
cred_jar           20118  20118    192   42    2 : tunables    0    0    0 : slabdata    479    479      0
anon_vma_chain     39946  40128     64   64    1 : tunables    0    0    0 : slabdata    627    627      0
anon_vma           24171  24318     96   42    1 : tunables    0    0    0 : slabdata    579    579      0
pid                 3456   3456    128   32    1 : tunables    0    0    0 : slabdata    108    108      0
Acpi-Operand        4648   4648     72   56    1 : tunables    0    0    0 : slabdata     83     83      0
Acpi-ParseExt        969    969     80   51    1 : tunables    0    0    0 : slabdata     19     19      0
Acpi-Parse          1387   1387     56   73    1 : tunables    0    0    0 : slabdata     19     19      0
Acpi-State          1071   1071     80   51    1 : tunables    0    0    0 : slabdata     21     21      0
Acpi-Namespace      2975   2975     48   85    1 : tunables    0    0    0 : slabdata     35     35      0
shared_policy_node      0      0     48   85    1 : tunables    0    0    0 : slabdata      0      0      0
numa_policy          682    682    264   31    2 : tunables    0    0    0 : slabdata     22     22      0
perf_event          1344   1344   1160   28    8 : tunables    0    0    0 : slabdata     48     48      0
trace_event_file    2806   2806     88   46    1 : tunables    0    0    0 : slabdata     61     61      0
ftrace_event_field   5950   5950     48   85    1 : tunables    0    0    0 : slabdata     70     70      0
pool_workqueue       486    512    256   32    2 : tunables    0    0    0 : slabdata     16     16      0
radix_tree_node    27001  69580    584   28    4 : tunables    0    0    0 : slabdata   2485   2485      0
task_group          1728   1728    896   36    8 : tunables    0    0    0 : slabdata     48     48      0
vmap_area           6436   7744     64   64    1 : tunables    0    0    0 : slabdata    121    121      0
dma-kmalloc-8k         0      0   8192    4    8 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-4k         0      0   4096    8    8 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-2k         0      0   2048   16    8 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-1k         0      0   1024   32    8 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-512        0      0    512   32    4 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-256        0      0    256   32    2 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-128        0      0    128   32    1 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-64         0      0     64   64    1 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-32         0      0     32  128    1 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-16         0      0     16  256    1 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-8          0      0      8  512    1 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-192        0      0    192   42    2 : tunables    0    0    0 : slabdata      0      0      0
dma-kmalloc-96         0      0     96   42    1 : tunables    0    0    0 : slabdata      0      0      0
kmalloc-rcl-8k         0      0   8192    4    8 : tunables    0    0    0 : slabdata      0      0      0
kmalloc-rcl-4k         0      0   4096    8    8 : tunables    0    0    0 : slabdata      0      0      0
kmalloc-rcl-2k         0      0   2048   16    8 : tunables    0    0    0 : slabdata      0      0      0
kmalloc-rcl-1k         0      0   1024   32    8 : tunables    0    0    0 : slabdata      0      0      0
kmalloc-rcl-512        0      0    512   32    4 : tunables    0    0    0 : slabdata      0      0      0
kmalloc-rcl-256        0      0    256   32    2 : tunables    0    0    0 : slabdata      0      0      0
kmalloc-rcl-192       42     42    192   42    2 : tunables    0    0    0 : slabdata      1      1      0
kmalloc-rcl-128     1696   1696    128   32    1 : tunables    0    0    0 : slabdata     53     53      0
kmalloc-rcl-96      4158   4158     96   42    1 : tunables    0    0    0 : slabdata     99     99      0
kmalloc-rcl-64     17088  17408     64   64    1 : tunables    0    0    0 : slabdata    272    272      0
kmalloc-rcl-32         0      0     32  128    1 : tunables    0    0    0 : slabdata      0      0      0
kmalloc-rcl-16         0      0     16  256    1 : tunables    0    0    0 : slabdata      0      0      0
kmalloc-rcl-8          0      0      8  512    1 : tunables    0    0    0 : slabdata      0      0      0
kmalloc-cg-8k        140    140   8192    4    8 : tunables    0    0    0 : slabdata     35     35      0
kmalloc-cg-4k       1080   1152   4096    8    8 : tunables    0    0    0 : slabdata    144    144      0
kmalloc-cg-2k        768    768   2048   16    8 : tunables    0    0    0 : slabdata     48     48      0
kmalloc-cg-1k       4192   4192   1024   32    8 : tunables    0    0    0 : slabdata    131    131      0
kmalloc-cg-512      1568   1568    512   32    4 : tunables    0    0    0 : slabdata     49     49      0
kmalloc-cg-256         0      0    256   32    2 : tunables    0    0    0 : slabdata      0      0      0
kmalloc-cg-192      3108   3108    192   42    2 : tunables    0    0    0 : slabdata     74     74      0
kmalloc-cg-128       864    864    128   32    1 : tunables    0    0    0 : slabdata     27     27      0
kmalloc-cg-96       2016   2016     96   42    1 : tunables    0    0    0 : slabdata     48     48      0
kmalloc-cg-64       3072   3072     64   64    1 : tunables    0    0    0 : slabdata     48     48      0
kmalloc-cg-32       6144   6144     32  128    1 : tunables    0    0    0 : slabdata     48     48      0
kmalloc-cg-16      12288  12288     16  256    1 : tunables    0    0    0 : slabdata     48     48      0
kmalloc-cg-8       23040  23040      8  512    1 : tunables    0    0    0 : slabdata     45     45      0
kmalloc-8k          2875   2896   8192    4    8 : tunables    0    0    0 : slabdata    724    724      0
kmalloc-4k          2815   2856   4096    8    8 : tunables    0    0    0 : slabdata    357    357      0
kmalloc-2k          5564   5616   2048   16    8 : tunables    0    0    0 : slabdata    351    351      0
kmalloc-1k          6640   7072   1024   32    8 : tunables    0    0    0 : slabdata    221    221      0
kmalloc-512        19790  37664    512   32    4 : tunables    0    0    0 : slabdata   1177   1177      0
kmalloc-256        12404  25536    256   32    2 : tunables    0    0    0 : slabdata    798    798      0
kmalloc-192         9184   9282    192   42    2 : tunables    0    0    0 : slabdata    221    221      0
kmalloc-128        10481  10656    128   32    1 : tunables    0    0    0 : slabdata    333    333      0
kmalloc-96         12580  12768     96   42    1 : tunables    0    0    0 : slabdata    304    304      0
kmalloc-64         43960  45440     64   64    1 : tunables    0    0    0 : slabdata    710    710      0
kmalloc-32        109598 110208     32  128    1 : tunables    0    0    0 : slabdata    861    861      0
kmalloc-16        106496 106496     16  256    1 : tunables    0    0    0 : slabdata    416    416      0
kmalloc-8          41472  41472      8  512    1 : tunables    0    0    0 : slabdata     81     81      0
kmem_cache_node     1213   1216     64   64    1 : tunables    0    0    0 : slabdata     19     19      0
kmem_cache           612    612    448   36    4 : tunables    0    0    0 : slabdata     17     17      0

Hello

Looking at /proc/meminfo:
Slab: 427500 kB
KernelStack: 10528 kB
PageTables: 22052 kB
Percpu: 34752 kB

The kernel only uses this much memory.

kernel dynamic memory 97.9G 1.3G 96.6G

smem does not represent the total memory used by the kernel itself.
It is expected that some memory is being used elsewhere.

Reference site

thanks

The machine clearly has (relatively) little memory free of the 128GB total it has:

Something must be using it. It does not appear to the user space (1.6G) or cache (1.3G). What is it? None of my other compute machines are showing nearly that much used for noncache kernel memory (usually .5 - 2 GB).

Hello

What do you think about checking the following?

tempfs memory
df -h /dev/shm

shared memory segments
ipcs -m

Thanks

The machine has rebooted at this point so I’ll have to wait to see if it occurs again, but good things to check. Although for tmpfs it would have to be multiple ones - each is limited to 64G.

1 Like

The two things that come to my mind for mysterious kernel memory usage is ramfs, which isn’t yours because you’d be seeing it as Unevictable I think, and cybersecurity kmods. I don’t know if Linux is able to tell you the usage per module but you can infer if you rmmod or modprobe -r one of them and suddenly many gigabytes are now free.