percpu: update embedding first chunk allocator to handle sparse units
authorTejun Heo <tj@kernel.org>
Fri, 14 Aug 2009 06:00:52 +0000 (15:00 +0900)
committerTejun Heo <tj@kernel.org>
Fri, 14 Aug 2009 06:00:52 +0000 (15:00 +0900)
commitc8826dd538602d730ed2c18c6753f1bbfa6c4933
tree705a34d5afae4a53a1b041689b0b0079cd88f737
parent6563297ceafab6bbcc931b52e2a9e660fbb21fb2
percpu: update embedding first chunk allocator to handle sparse units

Now that percpu core can handle very sparse units, given that vmalloc
space is large enough, embedding first chunk allocator can use any
memory to build the first chunk.  This patch teaches
pcpu_embed_first_chunk() about distances between cpus and to use
alloc/free callbacks to allocate node specific areas for each group
and use them for the first chunk.

This brings the benefits of embedding allocator to NUMA configurations
- no extra TLB pressure with the flexibility of unified dynamic
allocator and no need to restructure arch code to build memory layout
suitable for percpu.  With units put into atom_size aligned groups
according to cpu distances, using large page for dynamic chunks is
also easily possible with falling back to reuglar pages if large
allocation fails.

Embedding allocator users are converted to specify NULL
cpu_distance_fn, so this patch doesn't cause any visible behavior
difference.  Following patches will convert them.

Signed-off-by: Tejun Heo <tj@kernel.org>
arch/x86/kernel/setup_percpu.c
include/linux/percpu.h
mm/percpu.c