arch/powerpc/kvm/book3s_segment.S

   1 /*
   2  * This program is free software; you can redistribute it and/or modify
   3  * it under the terms of the GNU General Public License, version 2, as
   4  * published by the Free Software Foundation.
   5  *
   6  * This program is distributed in the hope that it will be useful,
   7  * but WITHOUT ANY WARRANTY; without even the implied warranty of
   8  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
   9  * GNU General Public License for more details.
  10  *
  11  * You should have received a copy of the GNU General Public License
  12  * along with this program; if not, write to the Free Software
  13  * Foundation, 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  14  *
  15  * Copyright SUSE Linux Products GmbH 2010
  16  *
  17  * Authors: Alexander Graf <agraf@suse.de>
  18  */
  19
  20 /* Real mode helpers */
  21
  22 #if defined(CONFIG_PPC_BOOK3S_64)
  23
  24 #define GET_SHADOW_VCPU(reg)    \
  25         addi    reg, r13, PACA_KVM_SVCPU
  26
  27 #elif defined(CONFIG_PPC_BOOK3S_32)
  28
  29 #define GET_SHADOW_VCPU(reg)                            \
  30         tophys(reg, r2);                        \
  31         lwz     reg, (THREAD + THREAD_KVM_SVCPU)(reg);  \
  32         tophys(reg, reg)
  33
  34 #endif
  35
  36 /* Disable for nested KVM */
  37 #define USE_QUICK_LAST_INST
  38
  39
  40 /* Get helper functions for subarch specific functionality */
  41
  42 #if defined(CONFIG_PPC_BOOK3S_64)
  43 #include "book3s_64_slb.S"
  44 #elif defined(CONFIG_PPC_BOOK3S_32)
  45 #include "book3s_32_sr.S"
  46 #endif
  47
  48 /******************************************************************************
  49  *                                                                            *
  50  *                               Entry code                                   *
  51  *                                                                            *
  52  *****************************************************************************/
  53
  54 .global kvmppc_handler_trampoline_enter
  55 kvmppc_handler_trampoline_enter:
  56
  57         /* Required state:
  58          *
  59          * MSR = ~IR|DR
  60          * R13 = PACA
  61          * R1 = host R1
  62          * R2 = host R2
  63          * R10 = guest MSR
  64          * all other volatile GPRS = free
  65          * SVCPU[CR] = guest CR
  66          * SVCPU[XER] = guest XER
  67          * SVCPU[CTR] = guest CTR
  68          * SVCPU[LR] = guest LR
  69          */
  70
  71         /* r3 = shadow vcpu */
  72         GET_SHADOW_VCPU(r3)
  73
  74         /* Move SRR0 and SRR1 into the respective regs */
  75         PPC_LL  r9, SVCPU_PC(r3)
  76         mtsrr0  r9
  77         mtsrr1  r10
  78
  79         /* Activate guest mode, so faults get handled by KVM */
  80         li      r11, KVM_GUEST_MODE_GUEST
  81         stb     r11, SVCPU_IN_GUEST(r3)
  82
  83         /* Switch to guest segment. This is subarch specific. */
  84         LOAD_GUEST_SEGMENTS
  85
  86         /* Enter guest */
  87
  88         PPC_LL  r4, (SVCPU_CTR)(r3)
  89         PPC_LL  r5, (SVCPU_LR)(r3)
  90         lwz     r6, (SVCPU_CR)(r3)
  91         lwz     r7, (SVCPU_XER)(r3)
  92
  93         mtctr   r4
  94         mtlr    r5
  95         mtcr    r6
  96         mtxer   r7
  97
  98         PPC_LL  r0, (SVCPU_R0)(r3)
  99         PPC_LL  r1, (SVCPU_R1)(r3)
 100         PPC_LL  r2, (SVCPU_R2)(r3)
 101         PPC_LL  r4, (SVCPU_R4)(r3)
 102         PPC_LL  r5, (SVCPU_R5)(r3)
 103         PPC_LL  r6, (SVCPU_R6)(r3)
 104         PPC_LL  r7, (SVCPU_R7)(r3)
 105         PPC_LL  r8, (SVCPU_R8)(r3)
 106         PPC_LL  r9, (SVCPU_R9)(r3)
 107         PPC_LL  r10, (SVCPU_R10)(r3)
 108         PPC_LL  r11, (SVCPU_R11)(r3)
 109         PPC_LL  r12, (SVCPU_R12)(r3)
 110         PPC_LL  r13, (SVCPU_R13)(r3)
 111
 112         PPC_LL  r3, (SVCPU_R3)(r3)
 113
 114         RFI
 115 kvmppc_handler_trampoline_enter_end:
 116
 117
 118
 119 /******************************************************************************
 120  *                                                                            *
 121  *                               Exit code                                    *
 122  *                                                                            *
 123  *****************************************************************************/
 124
 125 .global kvmppc_handler_trampoline_exit
 126 kvmppc_handler_trampoline_exit:
 127
 128 .global kvmppc_interrupt
 129 kvmppc_interrupt:
 130
 131         /* Register usage at this point:
 132          *
 133          * SPRG_SCRATCH0  = guest R13
 134          * R12            = exit handler id
 135          * R13            = shadow vcpu - SHADOW_VCPU_OFF [=PACA on PPC64]
 136          * SVCPU.SCRATCH0 = guest R12
 137          * SVCPU.SCRATCH1 = guest CR
 138          *
 139          */
 140
 141         /* Save registers */
 142
 143         PPC_STL r0, (SHADOW_VCPU_OFF + SVCPU_R0)(r13)
 144         PPC_STL r1, (SHADOW_VCPU_OFF + SVCPU_R1)(r13)
 145         PPC_STL r2, (SHADOW_VCPU_OFF + SVCPU_R2)(r13)
 146         PPC_STL r3, (SHADOW_VCPU_OFF + SVCPU_R3)(r13)
 147         PPC_STL r4, (SHADOW_VCPU_OFF + SVCPU_R4)(r13)
 148         PPC_STL r5, (SHADOW_VCPU_OFF + SVCPU_R5)(r13)
 149         PPC_STL r6, (SHADOW_VCPU_OFF + SVCPU_R6)(r13)
 150         PPC_STL r7, (SHADOW_VCPU_OFF + SVCPU_R7)(r13)
 151         PPC_STL r8, (SHADOW_VCPU_OFF + SVCPU_R8)(r13)
 152         PPC_STL r9, (SHADOW_VCPU_OFF + SVCPU_R9)(r13)
 153         PPC_STL r10, (SHADOW_VCPU_OFF + SVCPU_R10)(r13)
 154         PPC_STL r11, (SHADOW_VCPU_OFF + SVCPU_R11)(r13)
 155
 156         /* Restore R1/R2 so we can handle faults */
 157         PPC_LL  r1, (SHADOW_VCPU_OFF + SVCPU_HOST_R1)(r13)
 158         PPC_LL  r2, (SHADOW_VCPU_OFF + SVCPU_HOST_R2)(r13)
 159
 160         /* Save guest PC and MSR */
 161 #ifdef CONFIG_PPC64
 162 BEGIN_FTR_SECTION
 163         andi.   r0,r12,0x2
 164         beq     1f
 165         mfspr   r3,SPRN_HSRR0
 166         mfspr   r4,SPRN_HSRR1
 167         andi.   r12,r12,0x3ffd
 168         b       2f
 169 END_FTR_SECTION_IFSET(CPU_FTR_HVMODE_206)
 170 #endif
 171 1:      mfsrr0  r3
 172         mfsrr1  r4
 173 2:
 174         PPC_STL r3, (SHADOW_VCPU_OFF + SVCPU_PC)(r13)
 175         PPC_STL r4, (SHADOW_VCPU_OFF + SVCPU_SHADOW_SRR1)(r13)
 176
 177         /* Get scratch'ed off registers */
 178         GET_SCRATCH0(r9)
 179         PPC_LL  r8, (SHADOW_VCPU_OFF + SVCPU_SCRATCH0)(r13)
 180         lwz     r7, (SHADOW_VCPU_OFF + SVCPU_SCRATCH1)(r13)
 181
 182         PPC_STL r9, (SHADOW_VCPU_OFF + SVCPU_R13)(r13)
 183         PPC_STL r8, (SHADOW_VCPU_OFF + SVCPU_R12)(r13)
 184         stw     r7, (SHADOW_VCPU_OFF + SVCPU_CR)(r13)
 185
 186         /* Save more register state  */
 187
 188         mfxer   r5
 189         mfdar   r6
 190         mfdsisr r7
 191         mfctr   r8
 192         mflr    r9
 193
 194         stw     r5, (SHADOW_VCPU_OFF + SVCPU_XER)(r13)
 195         PPC_STL r6, (SHADOW_VCPU_OFF + SVCPU_FAULT_DAR)(r13)
 196         stw     r7, (SHADOW_VCPU_OFF + SVCPU_FAULT_DSISR)(r13)
 197         PPC_STL r8, (SHADOW_VCPU_OFF + SVCPU_CTR)(r13)
 198         PPC_STL r9, (SHADOW_VCPU_OFF + SVCPU_LR)(r13)
 199
 200         /*
 201          * In order for us to easily get the last instruction,
 202          * we got the #vmexit at, we exploit the fact that the
 203          * virtual layout is still the same here, so we can just
 204          * ld from the guest's PC address
 205          */
 206
 207         /* We only load the last instruction when it's safe */
 208         cmpwi   r12, BOOK3S_INTERRUPT_DATA_STORAGE
 209         beq     ld_last_inst
 210         cmpwi   r12, BOOK3S_INTERRUPT_PROGRAM
 211         beq     ld_last_inst
 212         cmpwi   r12, BOOK3S_INTERRUPT_ALIGNMENT
 213         beq-    ld_last_inst
 214
 215         b       no_ld_last_inst
 216
 217 ld_last_inst:
 218         /* Save off the guest instruction we're at */
 219
 220         /* In case lwz faults */
 221         li      r0, KVM_INST_FETCH_FAILED
 222
 223 #ifdef USE_QUICK_LAST_INST
 224
 225         /* Set guest mode to 'jump over instruction' so if lwz faults
 226          * we'll just continue at the next IP. */
 227         li      r9, KVM_GUEST_MODE_SKIP
 228         stb     r9, (SHADOW_VCPU_OFF + SVCPU_IN_GUEST)(r13)
 229
 230         /*    1) enable paging for data */
 231         mfmsr   r9
 232         ori     r11, r9, MSR_DR                 /* Enable paging for data */
 233         mtmsr   r11
 234         sync
 235         /*    2) fetch the instruction */
 236         lwz     r0, 0(r3)
 237         /*    3) disable paging again */
 238         mtmsr   r9
 239         sync
 240
 241 #endif
 242         stw     r0, (SHADOW_VCPU_OFF + SVCPU_LAST_INST)(r13)
 243
 244 no_ld_last_inst:
 245
 246         /* Unset guest mode */
 247         li      r9, KVM_GUEST_MODE_NONE
 248         stb     r9, (SHADOW_VCPU_OFF + SVCPU_IN_GUEST)(r13)
 249
 250         /* Switch back to host MMU */
 251         LOAD_HOST_SEGMENTS
 252
 253         /* Register usage at this point:
 254          *
 255          * R1       = host R1
 256          * R2       = host R2
 257          * R12      = exit handler id
 258          * R13      = shadow vcpu - SHADOW_VCPU_OFF [=PACA on PPC64]
 259          * SVCPU.*  = guest *
 260          *
 261          */
 262
 263         /* RFI into the highmem handler */
 264         mfmsr   r7
 265         ori     r7, r7, MSR_IR|MSR_DR|MSR_RI|MSR_ME     /* Enable paging */
 266         mtsrr1  r7
 267         /* Load highmem handler address */
 268         PPC_LL  r8, (SHADOW_VCPU_OFF + SVCPU_VMHANDLER)(r13)
 269         mtsrr0  r8
 270
 271         RFI
 272 kvmppc_handler_trampoline_exit_end: