alpaca-7b


Find this model in the Alpaca model summary

alpaca-7b Model Summary Plots

alpaca-7b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
1 DENSE 32001 4096 7.81 2.89 0.02 8.48 2.94 0
2 DENSE 4096 4096 1.00 2.71 0.05 8.18 3.02 31
3 DENSE 4096 4096 1.00 1.37 0.06 3.96 2.90 34
4 DENSE 4096 4096 1.00 4.21 0.03 5.40 1.28 7
5 DENSE 4096 4096 1.00 3.78 0.02 6.37 1.68 6
6 DENSE 11008 4096 2.69 2.79 0.04 5.83 2.09 0
7 DENSE 11008 4096 2.69 4.80 0.03 11.07 2.30 0
8 DENSE 11008 4096 2.69 5.42 0.04 9.76 1.80 0
11 DENSE 4096 4096 1.00 3.61 0.04 9.55 2.65 14
12 DENSE 4096 4096 1.00 3.67 0.04 10.55 2.87 18
13 DENSE 4096 4096 1.00 4.37 0.02 5.08 1.16 7
14 DENSE 4096 4096 1.00 4.48 0.02 6.69 1.49 6
15 DENSE 11008 4096 2.69 2.79 0.02 6.29 2.26 0
16 DENSE 11008 4096 2.69 4.22 0.02 8.83 2.09 0
17 DENSE 11008 4096 2.69 5.43 0.06 8.25 1.52 0
20 DENSE 4096 4096 1.00 2.66 0.03 6.97 2.62 7
21 DENSE 4096 4096 1.00 3.07 0.03 8.75 2.85 10
22 DENSE 4096 4096 1.00 4.43 0.02 4.44 1.00 5
23 DENSE 4096 4096 1.00 4.66 0.02 8.40 1.80 4
24 DENSE 11008 4096 2.69 2.88 0.01 6.74 2.34 0
25 DENSE 11008 4096 2.69 4.90 0.02 8.84 1.80 0
26 DENSE 11008 4096 2.69 3.99 0.06 6.74 1.69 0
29 DENSE 4096 4096 1.00 2.56 0.03 6.68 2.61 5
30 DENSE 4096 4096 1.00 3.42 0.03 9.09 2.65 5
31 DENSE 4096 4096 1.00 4.30 0.04 4.99 1.16 3
32 DENSE 4096 4096 1.00 3.89 0.03 6.75 1.74 4
33 DENSE 11008 4096 2.69 3.60 0.01 7.76 2.16 0
34 DENSE 11008 4096 2.69 4.53 0.03 7.90 1.74 0
35 DENSE 11008 4096 2.69 8.25 0.02 12.28 1.49 0
38 DENSE 4096 4096 1.00 3.13 0.04 8.02 2.56 3
39 DENSE 4096 4096 1.00 2.79 0.04 7.32 2.63 3
40 DENSE 4096 4096 1.00 4.05 0.06 4.51 1.11 3
41 DENSE 4096 4096 1.00 4.13 0.03 7.02 1.70 4
42 DENSE 11008 4096 2.69 3.54 0.01 8.04 2.27 0
43 DENSE 11008 4096 2.69 6.43 0.03 11.55 1.80 0
44 DENSE 11008 4096 2.69 9.02 0.04 13.71 1.52 0
47 DENSE 4096 4096 1.00 3.86 0.04 9.47 2.45 5
48 DENSE 4096 4096 1.00 3.69 0.02 9.41 2.55 5
49 DENSE 4096 4096 1.00 4.18 0.04 4.77 1.14 3
50 DENSE 4096 4096 1.00 3.75 0.04 6.79 1.81 2
51 DENSE 11008 4096 2.69 3.38 0.02 8.05 2.38 0
52 DENSE 11008 4096 2.69 6.85 0.04 12.02 1.75 0
53 DENSE 11008 4096 2.69 5.64 0.02 8.59 1.52 0
56 DENSE 4096 4096 1.00 2.81 0.04 6.82 2.42 4
57 DENSE 4096 4096 1.00 3.31 0.03 8.43 2.55 3
58 DENSE 4096 4096 1.00 4.29 0.05 4.76 1.11 2
59 DENSE 4096 4096 1.00 4.40 0.04 7.36 1.67 3
60 DENSE 11008 4096 2.69 3.41 0.01 7.93 2.32 0
61 DENSE 11008 4096 2.69 6.36 0.05 10.96 1.72 0
62 DENSE 11008 4096 2.69 5.18 0.03 8.23 1.59 0
65 DENSE 4096 4096 1.00 2.51 0.04 6.03 2.40 3
66 DENSE 4096 4096 1.00 2.79 0.03 7.03 2.52 3
67 DENSE 4096 4096 1.00 4.44 0.05 5.22 1.18 2
68 DENSE 4096 4096 1.00 4.75 0.03 7.26 1.53 3
69 DENSE 11008 4096 2.69 3.40 0.01 7.89 2.32 0
70 DENSE 11008 4096 2.69 6.19 0.05 10.76 1.74 0
71 DENSE 11008 4096 2.69 4.79 0.03 7.85 1.64 0
74 DENSE 4096 4096 1.00 2.55 0.03 5.98 2.34 3
75 DENSE 4096 4096 1.00 2.96 0.03 7.23 2.44 3
76 DENSE 4096 4096 1.00 3.28 0.05 4.06 1.24 5
77 DENSE 4096 4096 1.00 3.72 0.04 5.62 1.51 4
78 DENSE 11008 4096 2.69 3.23 0.01 7.72 2.39 0
79 DENSE 11008 4096 2.69 4.46 0.04 8.09 1.81 0
80 DENSE 11008 4096 2.69 4.52 0.03 7.51 1.66 0
83 DENSE 4096 4096 1.00 4.17 0.03 9.73 2.33 4
84 DENSE 4096 4096 1.00 3.60 0.04 8.85 2.46 3
85 DENSE 4096 4096 1.00 2.91 0.05 3.78 1.30 3
86 DENSE 4096 4096 1.00 3.54 0.05 5.39 1.52 4
87 DENSE 11008 4096 2.69 3.32 0.02 7.77 2.34 0
88 DENSE 11008 4096 2.69 3.47 0.04 6.39 1.84 0
89 DENSE 11008 4096 2.69 4.58 0.03 7.92 1.73 0
92 DENSE 4096 4096 1.00 3.00 0.03 6.92 2.31 2
93 DENSE 4096 4096 1.00 2.86 0.03 7.01 2.45 3
94 DENSE 4096 4096 1.00 3.32 0.06 4.26 1.28 3
95 DENSE 4096 4096 1.00 3.93 0.04 5.80 1.48 3
96 DENSE 11008 4096 2.69 3.45 0.02 8.01 2.32 0
97 DENSE 11008 4096 2.69 3.34 0.04 5.96 1.79 0
98 DENSE 11008 4096 2.69 4.44 0.04 7.70 1.73 0
101 DENSE 4096 4096 1.00 4.14 0.04 9.88 2.39 3
102 DENSE 4096 4096 1.00 2.82 0.03 7.20 2.55 3
103 DENSE 4096 4096 1.00 3.17 0.07 3.82 1.21 4
104 DENSE 4096 4096 1.00 8.85 0.07 11.61 1.31 3
105 DENSE 11008 4096 2.69 3.43 0.02 8.12 2.36 0
107 DENSE 11008 4096 2.69 3.98 0.04 7.00 1.76 0
108 DENSE 11008 4096 2.69 4.20 0.03 7.69 1.83 0
111 DENSE 4096 4096 1.00 2.78 0.04 6.40 2.30 3
112 DENSE 4096 4096 1.00 2.67 0.02 6.59 2.46 4
113 DENSE 4096 4096 1.00 4.00 0.06 4.81 1.20 3
114 DENSE 4096 4096 1.00 4.28 0.05 6.10 1.42 5
115 DENSE 11008 4096 2.69 3.48 0.01 8.48 2.44 0
116 DENSE 11008 4096 2.69 3.83 0.03 6.75 1.76 0
117 DENSE 11008 4096 2.69 4.64 0.03 8.34 1.80 0
120 DENSE 4096 4096 1.00 2.90 0.03 6.67 2.30 3
121 DENSE 4096 4096 1.00 2.85 0.02 6.94 2.44 3
122 DENSE 4096 4096 1.00 7.08 0.07 8.59 1.21 2
123 DENSE 4096 4096 1.00 4.63 0.05 6.60 1.42 3
124 DENSE 11008 4096 2.69 3.55 0.01 8.44 2.38 0
125 DENSE 11008 4096 2.69 3.85 0.02 6.71 1.74 0
126 DENSE 11008 4096 2.69 4.58 0.03 8.45 1.85 0
129 DENSE 4096 4096 1.00 2.69 0.05 6.25 2.32 3
130 DENSE 4096 4096 1.00 2.98 0.03 7.33 2.46 3
131 DENSE 4096 4096 1.00 6.83 0.04 7.92 1.16 3
132 DENSE 4096 4096 1.00 4.07 0.04 5.81 1.43 3
133 DENSE 11008 4096 2.69 3.67 0.01 8.56 2.33 0
134 DENSE 11008 4096 2.69 3.74 0.01 6.41 1.72 0
135 DENSE 11008 4096 2.69 4.99 0.03 9.11 1.82 0
138 DENSE 4096 4096 1.00 2.72 0.04 6.31 2.32 4
139 DENSE 4096 4096 1.00 2.70 0.01 6.65 2.47 3
140 DENSE 4096 4096 1.00 9.02 0.06 9.79 1.09 3
141 DENSE 4096 4096 1.00 5.72 0.04 8.41 1.47 3
142 DENSE 11008 4096 2.69 3.73 0.01 8.60 2.30 0
143 DENSE 11008 4096 2.69 4.03 0.01 6.78 1.68 0
144 DENSE 11008 4096 2.69 4.82 0.03 8.98 1.86 0
147 DENSE 4096 4096 1.00 2.89 0.03 6.85 2.37 3
148 DENSE 4096 4096 1.00 2.92 0.01 7.33 2.51 2
149 DENSE 4096 4096 1.00 6.59 0.05 7.89 1.20 2
150 DENSE 4096 4096 1.00 6.09 0.02 9.78 1.61 3
151 DENSE 11008 4096 2.69 3.70 0.01 8.70 2.35 0
152 DENSE 11008 4096 2.69 4.70 0.01 7.88 1.68 0
153 DENSE 11008 4096 2.69 4.95 0.01 9.33 1.88 0
156 DENSE 4096 4096 1.00 2.87 0.03 6.68 2.33 3
157 DENSE 4096 4096 1.00 2.85 0.01 7.02 2.46 3
158 DENSE 4096 4096 1.00 13.68 0.06 15.56 1.14 4
159 DENSE 4096 4096 1.00 7.24 0.03 10.92 1.51 2
160 DENSE 11008 4096 2.69 3.75 0.01 8.80 2.35 0
161 DENSE 11008 4096 2.69 5.14 0.01 8.50 1.66 0
162 DENSE 11008 4096 2.69 5.05 0.01 9.25 1.83 0
165 DENSE 4096 4096 1.00 2.59 0.04 6.10 2.36 4
166 DENSE 4096 4096 1.00 2.75 0.02 6.79 2.47 3
167 DENSE 4096 4096 1.00 9.15 0.05 9.91 1.08 2
168 DENSE 4096 4096 1.00 7.25 0.03 10.65 1.47 3
169 DENSE 11008 4096 2.69 3.77 0.01 8.73 2.32 0
170 DENSE 11008 4096 2.69 5.26 0.02 8.79 1.67 0
171 DENSE 11008 4096 2.69 5.33 0.01 9.64 1.81 0
174 DENSE 4096 4096 1.00 2.76 0.02 6.54 2.37 3
175 DENSE 4096 4096 1.00 2.91 0.02 7.18 2.46 4
176 DENSE 4096 4096 1.00 9.95 0.03 12.39 1.24 2
177 DENSE 4096 4096 1.00 7.44 0.04 11.09 1.49 1
178 DENSE 11008 4096 2.69 3.80 0.01 8.74 2.30 0
179 DENSE 11008 4096 2.69 5.80 0.02 9.66 1.66 0
180 DENSE 11008 4096 2.69 5.48 0.01 9.51 1.73 0
183 DENSE 4096 4096 1.00 3.09 0.02 7.36 2.38 3
184 DENSE 4096 4096 1.00 3.22 0.02 7.97 2.47 3
185 DENSE 4096 4096 1.00 7.81 0.04 8.94 1.15 3
186 DENSE 4096 4096 1.00 7.40 0.05 11.01 1.49 2
187 DENSE 11008 4096 2.69 3.81 0.01 8.73 2.29 0
188 DENSE 11008 4096 2.69 7.20 0.03 11.61 1.61 0
189 DENSE 11008 4096 2.69 5.54 0.02 9.57 1.73 0
192 DENSE 4096 4096 1.00 2.81 0.02 6.65 2.37 4
193 DENSE 4096 4096 1.00 2.86 0.03 7.01 2.45 3
194 DENSE 4096 4096 1.00 5.39 0.05 6.32 1.17 2
195 DENSE 4096 4096 1.00 8.83 0.06 15.42 1.75 2
196 DENSE 11008 4096 2.69 3.79 0.01 8.75 2.31 0
197 DENSE 11008 4096 2.69 8.40 0.04 12.74 1.52 0
198 DENSE 11008 4096 2.69 5.74 0.02 9.66 1.68 0
201 DENSE 4096 4096 1.00 3.28 0.01 7.76 2.37 4
202 DENSE 4096 4096 1.00 3.56 0.02 8.62 2.42 3
203 DENSE 4096 4096 1.00 7.04 0.02 9.08 1.29 3
204 DENSE 4096 4096 1.00 5.55 0.02 9.78 1.76 3
205 DENSE 11008 4096 2.69 3.87 0.02 8.65 2.23 0
206 DENSE 11008 4096 2.69 8.08 0.03 12.30 1.52 0
207 DENSE 11008 4096 2.69 6.53 0.03 10.55 1.61 0
210 DENSE 4096 4096 1.00 2.71 0.02 6.46 2.38 3
211 DENSE 4096 4096 1.00 2.97 0.03 7.27 2.44 3
212 DENSE 4096 4096 1.00 4.70 0.06 5.74 1.22 2
213 DENSE 4096 4096 1.00 6.21 0.02 11.17 1.80 2
214 DENSE 11008 4096 2.69 3.96 0.02 8.82 2.23 0
215 DENSE 11008 4096 2.69 8.17 0.02 12.24 1.50 0
217 DENSE 11008 4096 2.69 7.07 0.03 11.25 1.59 0
220 DENSE 4096 4096 1.00 3.04 0.03 7.15 2.35 3
221 DENSE 4096 4096 1.00 3.11 0.04 7.56 2.43 4
222 DENSE 4096 4096 1.00 5.32 0.06 6.27 1.18 2
223 DENSE 4096 4096 1.00 9.18 0.04 14.96 1.63 1
224 DENSE 11008 4096 2.69 4.12 0.02 9.02 2.19 0
225 DENSE 11008 4096 2.69 6.87 0.02 10.57 1.54 0
226 DENSE 11008 4096 2.69 7.69 0.04 12.12 1.58 0
229 DENSE 4096 4096 1.00 3.83 0.02 9.03 2.36 3
230 DENSE 4096 4096 1.00 3.38 0.03 8.21 2.43 3
231 DENSE 4096 4096 1.00 8.59 0.04 10.47 1.22 2
232 DENSE 4096 4096 1.00 8.20 0.03 13.21 1.61 2
233 DENSE 11008 4096 2.69 4.29 0.02 9.39 2.19 0
234 DENSE 11008 4096 2.69 5.77 0.02 8.81 1.53 0
235 DENSE 11008 4096 2.69 7.84 0.02 13.00 1.66 0
238 DENSE 4096 4096 1.00 3.80 0.02 8.83 2.32 2
239 DENSE 4096 4096 1.00 3.43 0.03 8.16 2.38 2
240 DENSE 4096 4096 1.00 10.47 0.03 12.18 1.16 2
241 DENSE 4096 4096 1.00 9.00 0.04 13.54 1.50 2
242 DENSE 11008 4096 2.69 4.97 0.02 10.75 2.16 0
243 DENSE 11008 4096 2.69 5.06 0.02 7.94 1.57 0
244 DENSE 11008 4096 2.69 7.82 0.03 13.54 1.73 0
247 DENSE 4096 4096 1.00 3.90 0.02 9.12 2.34 3
248 DENSE 4096 4096 1.00 4.12 0.03 9.81 2.38 2
249 DENSE 4096 4096 1.00 8.41 0.04 10.97 1.30 1
250 DENSE 4096 4096 1.00 7.17 0.04 12.94 1.80 3
251 DENSE 11008 4096 2.69 4.92 0.01 10.73 2.18 0
252 DENSE 11008 4096 2.69 4.68 0.02 7.21 1.54 0
253 DENSE 11008 4096 2.69 7.46 0.04 14.17 1.90 0
256 DENSE 4096 4096 1.00 3.10 0.03 7.20 2.33 3
257 DENSE 4096 4096 1.00 3.26 0.04 7.85 2.41 3
258 DENSE 4096 4096 1.00 7.06 0.04 9.00 1.27 2
259 DENSE 4096 4096 1.00 7.89 0.05 13.05 1.65 2
260 DENSE 11008 4096 2.69 4.99 0.02 10.87 2.18 0
261 DENSE 11008 4096 2.69 5.14 0.02 7.96 1.55 0
262 DENSE 11008 4096 2.69 6.73 0.04 13.90 2.07 0
265 DENSE 4096 4096 1.00 3.12 0.02 7.13 2.28 3
266 DENSE 4096 4096 1.00 3.11 0.02 7.31 2.35 3
267 DENSE 4096 4096 1.00 9.15 0.05 13.72 1.50 1
268 DENSE 4096 4096 1.00 7.80 0.07 13.75 1.76 1
269 DENSE 11008 4096 2.69 4.86 0.02 10.74 2.21 0
270 DENSE 11008 4096 2.69 5.75 0.02 9.46 1.64 0
271 DENSE 11008 4096 2.69 5.85 0.04 13.24 2.26 0
274 DENSE 4096 4096 1.00 3.22 0.02 7.46 2.32 3
275 DENSE 4096 4096 1.00 3.52 0.03 8.44 2.40 3
276 DENSE 4096 4096 1.00 8.31 0.05 11.85 1.43 2
277 DENSE 4096 4096 1.00 6.89 0.04 11.87 1.72 3
278 DENSE 11008 4096 2.69 3.43 0.03 7.73 2.25 0
279 DENSE 11008 4096 2.69 5.59 0.04 16.67 2.98 0
280 DENSE 11008 4096 2.69 4.85 0.04 11.79 2.43 0
283 DENSE 4096 4096 1.00 2.70 0.01 6.42 2.38 8
284 DENSE 4096 4096 1.00 2.92 0.01 7.44 2.55 7
285 DENSE 4096 4096 1.00 6.19 0.04 8.93 1.44 3
286 DENSE 4096 4096 1.00 4.11 0.05 10.63 2.58 3
287 DENSE 11008 4096 2.69 3.86 0.04 10.30 2.67 0
288 DENSE 11008 4096 2.69 4.79 0.03 9.59 2.00 0
289 DENSE 11008 4096 2.69 2.95 0.03 7.74 2.63 0
293 DENSE 32001 4096 7.81 5.28 0.03 17.70 3.35 0