PG中需要给共享内存分配多少内存？为什么？

    综合指南：postgresql shared buffers
    本文主要针对下面问题详述PG的共享内存：PG中需要给共享内存分配多少内存？为什么？
    非常奇怪，为什么我的RDS PG需要使用系统RAM的25％，而Aurora的PG却需要分配75％？
    理解PG中的共享内存及操作系统的缓存
    首先提出个问题：PG中的bgwriter进程是干什么的？
    如果回答是将脏页刷到磁盘的，那这就错了。他仅仅将脏页刷写到操作系统的缓存，然后由操作系统调用sync将操作系统缓存刷写到磁盘。有点迷惑？那么接着我们说道说道。
    由于PG轻量的特性，他高度依赖操作系统缓存，通过操作系统感知文件系统、磁盘布局以及读写数据文件。下图帮助了解数据如何在磁盘和共享缓存之间流动。
    
    因此当发起“select ＊from emp”时，数据会加载到操作系统缓存然后才到shared buffer。同样当将脏页向磁盘刷写时，也是先到操作系统缓存，然后由操作系统调用fsync（）将操作系统缓存中数据持久化到磁盘。这样PG实际上由两份数据，看起来有些浪费空间，但是操作系统缓存是一个简单的LRU而不是数据库优化的clock sweep algorithm。一旦在shared＿buffers中命中，那么读就不会下沉到操作系统缓存。如果shared buffer和操作系统缓存有相同页，操作系统缓存中的页很快会被驱逐替换。
    我能影响操作系统的fsync将脏页刷回磁盘吗？
    当然，通过postgresql．conf中参数bgwriter＿flush＿after，该参数整型，默认512KB。当后台写进程写了这么多数据时，会强制OS发起sync将cache中数据刷到底层存储。这样会限制内核页缓存中的脏数据数量，从而减小checkpoint时间或者后台大批量写回数据的时间。
    不仅仅时bgwriter，即使checkpoint进程和用户进程也从shared buffer刷写脏页到OS cache。可以通过checkpoint＿flush＿after影响checkpoint进程的fsync，通过backend＿flush＿after影响后台进程的fsync。
    如果给OS cache很小值会怎么样？
    正如上文所述，一旦页被标记为脏，他就会刷写到操作系统缓存。操作系统可以更加自由地根据传入的流量进行IO调度。如果OS cache太小，则无法重新对write进行排序从而优化IO。这对于写操作频繁的工作负载尤为重要，所以操作系统缓存大学也很重要。
    如果给shared buffer很小值会怎么样？
    数据库操作都在shared buffer，所以最好为shared buffer分配足够空间。
    建议值多大？
    PG推荐系统内存的25％给shared buffer，当然可以根据环境进行调整。
    如果查看shared buffer中内容？
    PG的buffer cache扩展可以帮助实时查看shared buffer中内容。从shared＿buffers中采集信息保存到pg＿buffercache表中：
    create extension pg＿buffercache；
    安装好后，执行下面查询查看内容：
    SELECT c．relname
    ， pg＿size＿pretty（count（＊） ＊ 8192） as buffered
    ， round（100．0 ＊ count（＊） ／ （ SELECT setting FROM pg＿settings WHERE name＝＇shared＿buffers＇）：：integer，1） AS buffers＿percent
    ， round（100．0 ＊ count（＊） ＊ 8192 ／ pg＿relation＿size（c．oid），1） AS percent＿of＿relation
    FROM pg＿class c
    INNER JOIN pg＿buffercache b ON b．relfilenode ＝ c．relfilenode
    INNER JOIN pg＿database d ON （b．reldatabase ＝ d．oid AND d．datname ＝ current＿database（））
    WHERE pg＿relation＿size（c．oid） ＞ 0
    GROUP BY c．oid， c．relname
    ORDER BY 3 DESC
    LIMIT 10；
    输出：
    postgres＝＃ SELECT c．relname  postgres－＃   ，  pg＿size＿pretty（count（＊） ＊ 8192） as buffered  postgres－＃   ， round（100．0 ＊  count（＊） ／ （ SELECT setting FROM pg＿settings WHERE  name＝＇shared＿buffers＇）：：integer，1） AS buffers＿percent  postgres－＃   ， round（100．0 ＊  count（＊） ＊ 8192 ／ pg＿relation＿size（c．oid），1） AS percent＿of＿relation  postgres－＃  FROM pg＿class c  postgres－＃  INNER JOIN  pg＿buffercache b ON b．relfilenode ＝ c．relfilenode  postgres－＃  INNER JOIN  pg＿database d ON （b．reldatabase ＝ d．oid AND d．datname ＝ current＿database（））  postgres－＃  WHERE  pg＿relation＿size（c．oid） ＞ 0  postgres－＃  GROUP BY c．oid，  c．relname  postgres－＃  ORDER BY 3 DESC  postgres－＃  LIMIT 10；            relname          ｜  buffered  ｜  buffers＿percent ｜ percent＿of＿relation  －－－－－－－－－－－－－－－－－－－－－－－－－－－＋－－－－－－－－－－－－＋－－－－－－－－－－－－－－－－－＋－－－－－－－－－－－－－－－－－－－－－   pg＿operator                ｜ 80 kB      ｜              0．1 ｜                71．4   pg＿depend＿reference＿index  ｜ 96 kB      ｜              0．1 ｜                27．9   pg＿am                      ｜ 8192 bytes ｜              0．0 ｜                100．0   pg＿amproc                  ｜ 24 kB      ｜              0．0 ｜                100．0   pg＿cast                    ｜ 8192 bytes ｜              0．0 ｜                50．0   pg＿depend                  ｜ 64 kB      ｜              0．0 ｜                14．0   pg＿index                  ｜  32 kB      ｜              0．0 ｜                100．0   pg＿description            ｜  40 kB      ｜              0．0 ｜                14．3   pg＿language                ｜ 8192 bytes ｜              0．0 ｜                100．0   pg＿amop                    ｜ 40 kB      ｜              0．0 ｜                83．3  （10 rows）
    如何感知数据到达操作系统缓存层？
    需要安装包pgfincore：
    As root user：      export PATH＝／usr／local／pgsql／bin：＄PATH ／／Set  the path to point pg＿config．  tar －xvf pgfincore－v1．1．1．tar．gz   cd pgfincore－1．1．1   make clean   make   make install      Now connect to PG and run below command  postgres＝＃ CREATE EXTENSION pgfincore；
    执行下面命令：
    select c．relname，pg＿size＿pretty（count（＊） ＊ 8192） as pg＿buffered，
      round（100．0 ＊ count（＊） ／
     （select setting
     from pg＿settings
     where name＝＇shared＿buffers＇）：：integer，1）
     as pgbuffer＿percent，
     round（100．0＊count（＊）＊8192 ／ pg＿table＿size（c．oid），1） as percent＿of＿relation，
     （ select round（ sum（pages＿mem） ＊ 4 ／1024，0 ）
     from pgfincore（c．relname：：text） ）
     as os＿cache＿MB ，
     round（100 ＊ （
     select sum（pages＿mem）＊4096
     from pgfincore（c．relname：：text） ）／ pg＿table＿size（c．oid），1）
     as os＿cache＿percent＿of＿relation，
     pg＿size＿pretty（pg＿table＿size（c．oid）） as rel＿size
     from pg＿class c
     inner join pg＿buffercache b on b．relfilenode＝c．relfilenode
     inner join pg＿database d on （b．reldatabase＝d．oid and d．datname＝current＿database（）
     and c．relnamespace＝（select oid from pg＿namespace where nspname＝＇public＇））
     group by c．oid，c．relname
     order by 3 desc limit 30；
    输出：
    relname ｜pg＿buffered｜pgbuffer＿per｜per＿of＿relation｜os＿cache＿mb｜os＿cache＿per＿of＿relation｜rel＿size
    －－－－－－－－－＋－－－－－－－－－－－＋－－－－－－－－－－－－＋－－－－－－－－－－－－－－－＋－－－－－－－－－－－＋－－－－－－－－－－－－－－－－－－－－－－－－＋－－－－－－－－
     emp ｜ 4091 MB ｜ 99．9 ｜ 49．3 ｜ 7643 ｜ 92．1 ｜ 8301 MB
    pg＿buffered表示PG buffer cache中有多少数据，pgbuffer＿percent表示pg＿buffered／total＿buffer＿size＊100。os＿cache＿mb表示OS cache中缓存多少。我们的表emp有8301MB数据，92％数据在OS cache，49．3％在shared buffers，大约50％的数据是冗余的。
    为什么Aurora PG推荐75％的内存给shared buffer？
    Aurora不使用文件系统缓存，因此可以提升shared＿buffers大小以提升性能。最佳实践值为75％。Work＿mem、maintenance＿work＿mem和其他本地内存不是shared buffer的一部分。如果应用请求大量客户端连接，或需要大量work＿mem时，需要将这个值调小。