opt-13b


Find this model in the OPT model summary

Model source: https://huggingface.co/facebook/opt-2.7b

opt-13b Model Summary Plots

opt-13b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
2 DENSE 5120 2050 2.50 2.37 0.05 5.20 2.19 1
4 DENSE 5120 5120 1.00 3.67 0.04 5.38 1.46 8
5 DENSE 5120 5120 1.00 3.09 0.04 1.27 0.41 10
6 DENSE 5120 5120 1.00 2.77 0.04 3.42 1.23 10
7 DENSE 5120 5120 1.00 3.78 0.05 8.23 2.18 14
9 DENSE 20480 5120 4.00 2.36 0.03 6.72 2.84 0
10 DENSE 20480 5120 4.00 4.40 0.05 9.31 2.12 0
12 DENSE 5120 5120 1.00 2.03 0.02 5.27 2.60 9
13 DENSE 5120 5120 1.00 4.10 0.04 6.37 1.55 8
14 DENSE 5120 5120 1.00 2.11 0.03 4.82 2.28 11
15 DENSE 5120 5120 1.00 3.56 0.07 7.11 2.00 14
17 DENSE 20480 5120 4.00 2.37 0.03 6.07 2.56 0
18 DENSE 20480 5120 4.00 4.11 0.04 9.63 2.34 0
20 DENSE 5120 5120 1.00 1.95 0.02 5.16 2.65 10
21 DENSE 5120 5120 1.00 3.91 0.03 5.30 1.36 10
22 DENSE 5120 5120 1.00 2.04 0.02 4.69 2.30 10
23 DENSE 5120 5120 1.00 3.51 0.06 6.03 1.72 13
25 DENSE 20480 5120 4.00 2.40 0.02 6.02 2.51 0
26 DENSE 20480 5120 4.00 3.88 0.01 9.27 2.39 0
28 DENSE 5120 5120 1.00 1.75 0.03 4.55 2.60 10
29 DENSE 5120 5120 1.00 3.41 0.01 4.12 1.21 9
30 DENSE 5120 5120 1.00 1.75 0.04 3.97 2.27 10
31 DENSE 5120 5120 1.00 3.19 0.02 4.67 1.46 10
33 DENSE 20480 5120 4.00 2.42 0.02 6.10 2.52 0
34 DENSE 20480 5120 4.00 3.92 0.01 9.43 2.41 0
36 DENSE 5120 5120 1.00 1.73 0.04 4.26 2.46 10
37 DENSE 5120 5120 1.00 3.16 0.01 3.33 1.05 7
38 DENSE 5120 5120 1.00 2.43 0.03 5.59 2.30 10
39 DENSE 5120 5120 1.00 3.02 0.02 3.66 1.21 12
41 DENSE 20480 5120 4.00 2.39 0.02 6.04 2.53 0
42 DENSE 20480 5120 4.00 4.29 0.02 10.01 2.34 0
44 DENSE 5120 5120 1.00 1.77 0.04 4.19 2.36 10
45 DENSE 5120 5120 1.00 3.15 0.02 3.25 1.03 9
46 DENSE 5120 5120 1.00 2.07 0.03 5.01 2.42 11
47 DENSE 5120 5120 1.00 2.90 0.02 2.26 0.78 9
49 DENSE 20480 5120 4.00 2.39 0.01 6.00 2.51 0
50 DENSE 20480 5120 4.00 4.45 0.01 10.15 2.28 0
52 DENSE 5120 5120 1.00 2.31 0.03 5.22 2.26 9
53 DENSE 5120 5120 1.00 2.98 0.02 3.00 1.01 8
54 DENSE 5120 5120 1.00 1.75 0.02 4.37 2.50 8
55 DENSE 5120 5120 1.00 2.69 0.02 1.93 0.72 9
57 DENSE 20480 5120 4.00 2.38 0.01 6.01 2.52 0
58 DENSE 20480 5120 4.00 4.54 0.01 9.87 2.17 0
60 DENSE 5120 5120 1.00 1.71 0.02 3.72 2.18 10
61 DENSE 5120 5120 1.00 2.98 0.03 2.84 0.95 8
62 DENSE 5120 5120 1.00 2.26 0.02 5.44 2.41 9
63 DENSE 5120 5120 1.00 2.79 0.04 2.11 0.76 9
65 DENSE 20480 5120 4.00 2.41 0.01 6.11 2.54 0
66 DENSE 20480 5120 4.00 4.63 0.02 9.73 2.10 0
68 DENSE 5120 5120 1.00 2.29 0.02 4.98 2.18 9
69 DENSE 5120 5120 1.00 3.13 0.02 2.99 0.96 8
70 DENSE 5120 5120 1.00 2.13 0.02 5.22 2.46 9
71 DENSE 5120 5120 1.00 2.78 0.04 2.14 0.77 8
73 DENSE 20480 5120 4.00 2.44 0.01 6.08 2.49 0
74 DENSE 20480 5120 4.00 4.62 0.02 9.69 2.10 0
76 DENSE 5120 5120 1.00 1.77 0.02 3.88 2.20 9
77 DENSE 5120 5120 1.00 3.30 0.02 3.33 1.01 8
78 DENSE 5120 5120 1.00 2.11 0.03 4.90 2.33 9
79 DENSE 5120 5120 1.00 3.20 0.03 2.63 0.82 8
81 DENSE 20480 5120 4.00 2.49 0.01 6.21 2.50 0
82 DENSE 20480 5120 4.00 4.62 0.01 9.58 2.07 0
84 DENSE 5120 5120 1.00 1.74 0.03 3.73 2.15 10
85 DENSE 5120 5120 1.00 3.40 0.02 3.37 0.99 8
86 DENSE 5120 5120 1.00 2.05 0.02 4.70 2.30 10
87 DENSE 5120 5120 1.00 4.47 0.03 4.14 0.93 8
89 DENSE 20480 5120 4.00 2.51 0.02 6.29 2.50 0
90 DENSE 20480 5120 4.00 4.75 0.01 9.91 2.09 0
92 DENSE 5120 5120 1.00 2.37 0.02 4.99 2.10 8
93 DENSE 5120 5120 1.00 3.55 0.01 3.30 0.93 7
94 DENSE 5120 5120 1.00 2.20 0.02 4.83 2.19 8
95 DENSE 5120 5120 1.00 4.14 0.02 3.98 0.96 8
97 DENSE 20480 5120 4.00 2.54 0.02 6.35 2.50 0
98 DENSE 20480 5120 4.00 4.57 0.01 9.10 1.99 0
100 DENSE 5120 5120 1.00 2.23 0.02 4.69 2.10 9
101 DENSE 5120 5120 1.00 3.61 0.01 3.52 0.98 6
102 DENSE 5120 5120 1.00 2.13 0.02 4.40 2.07 8
103 DENSE 5120 5120 1.00 4.08 0.02 4.17 1.02 7
105 DENSE 20480 5120 4.00 2.55 0.02 6.40 2.51 0
106 DENSE 20480 5120 4.00 4.45 0.01 8.84 1.99 0
108 DENSE 5120 5120 1.00 2.29 0.02 4.64 2.03 8
109 DENSE 5120 5120 1.00 4.34 0.02 3.78 0.87 7
110 DENSE 5120 5120 1.00 2.17 0.02 4.31 1.99 8
111 DENSE 5120 5120 1.00 4.89 0.02 5.35 1.09 7
113 DENSE 20480 5120 4.00 2.54 0.01 6.30 2.48 0
114 DENSE 20480 5120 4.00 4.11 0.02 7.74 1.88 0
116 DENSE 5120 5120 1.00 2.39 0.02 4.74 1.98 7
117 DENSE 5120 5120 1.00 4.56 0.02 4.20 0.92 6
118 DENSE 5120 5120 1.00 2.29 0.03 4.31 1.88 8
119 DENSE 5120 5120 1.00 4.41 0.01 5.19 1.18 7
121 DENSE 20480 5120 4.00 2.57 0.02 6.37 2.48 0
122 DENSE 20480 5120 4.00 3.91 0.02 7.03 1.80 0
124 DENSE 5120 5120 1.00 2.33 0.02 4.46 1.92 8
125 DENSE 5120 5120 1.00 5.10 0.02 4.55 0.89 6
126 DENSE 5120 5120 1.00 2.21 0.03 4.02 1.82 8
127 DENSE 5120 5120 1.00 4.83 0.01 5.76 1.19 7
129 DENSE 20480 5120 4.00 2.61 0.02 6.54 2.50 0
130 DENSE 20480 5120 4.00 3.81 0.01 6.74 1.77 0
132 DENSE 5120 5120 1.00 2.39 0.02 4.42 1.85 7
133 DENSE 5120 5120 1.00 4.73 0.02 4.31 0.91 6
134 DENSE 5120 5120 1.00 2.12 0.04 3.82 1.80 8
135 DENSE 5120 5120 1.00 4.71 0.01 5.36 1.14 7
137 DENSE 20480 5120 4.00 2.67 0.02 6.76 2.53 0
138 DENSE 20480 5120 4.00 3.65 0.01 6.79 1.86 0
140 DENSE 5120 5120 1.00 2.89 0.02 5.44 1.88 7
141 DENSE 5120 5120 1.00 4.38 0.02 4.25 0.97 6
142 DENSE 5120 5120 1.00 2.94 0.04 5.23 1.78 8
143 DENSE 5120 5120 1.00 4.72 0.03 5.09 1.08 7
145 DENSE 20480 5120 4.00 2.76 0.02 6.96 2.52 0
146 DENSE 20480 5120 4.00 3.45 0.01 5.98 1.73 0
148 DENSE 5120 5120 1.00 2.70 0.01 5.14 1.91 6
149 DENSE 5120 5120 1.00 3.83 0.02 3.70 0.97 7
150 DENSE 5120 5120 1.00 2.50 0.02 4.70 1.88 6
151 DENSE 5120 5120 1.00 3.90 0.03 3.79 0.97 7
153 DENSE 20480 5120 4.00 2.84 0.02 7.18 2.53 0
154 DENSE 20480 5120 4.00 3.35 0.01 5.93 1.77 0
156 DENSE 5120 5120 1.00 2.83 0.02 5.63 1.99 6
157 DENSE 5120 5120 1.00 3.66 0.04 3.45 0.94 7
158 DENSE 5120 5120 1.00 2.82 0.04 5.02 1.78 5
159 DENSE 5120 5120 1.00 3.71 0.05 3.45 0.93 6
161 DENSE 20480 5120 4.00 2.86 0.01 7.33 2.56 0
162 DENSE 20480 5120 4.00 3.41 0.01 5.94 1.75 0
164 DENSE 5120 5120 1.00 2.53 0.03 4.96 1.96 5
165 DENSE 5120 5120 1.00 3.37 0.04 3.55 1.06 7
166 DENSE 5120 5120 1.00 3.57 0.04 6.39 1.79 7
167 DENSE 5120 5120 1.00 3.29 0.04 2.84 0.86 7
169 DENSE 20480 5120 4.00 2.90 0.01 7.42 2.56 0
170 DENSE 20480 5120 4.00 3.34 0.01 5.77 1.73 0
172 DENSE 5120 5120 1.00 2.72 0.01 5.63 2.07 6
173 DENSE 5120 5120 1.00 3.13 0.03 3.23 1.03 6
174 DENSE 5120 5120 1.00 2.51 0.03 4.39 1.75 5
175 DENSE 5120 5120 1.00 3.12 0.07 2.53 0.81 7
177 DENSE 20480 5120 4.00 2.89 0.01 7.46 2.58 0
178 DENSE 20480 5120 4.00 3.25 0.01 5.58 1.72 0
180 DENSE 5120 5120 1.00 2.87 0.02 5.86 2.04 5
181 DENSE 5120 5120 1.00 3.19 0.04 3.29 1.03 7
182 DENSE 5120 5120 1.00 3.11 0.04 5.25 1.69 5
183 DENSE 5120 5120 1.00 4.63 0.06 3.95 0.85 6
185 DENSE 20480 5120 4.00 2.82 0.01 7.33 2.60 0
186 DENSE 20480 5120 4.00 3.24 0.01 5.45 1.68 0
188 DENSE 5120 5120 1.00 2.73 0.01 5.60 2.05 6
189 DENSE 5120 5120 1.00 3.04 0.05 3.19 1.05 7
190 DENSE 5120 5120 1.00 2.41 0.04 4.05 1.68 7
191 DENSE 5120 5120 1.00 3.03 0.07 2.55 0.84 6
193 DENSE 20480 5120 4.00 2.77 0.01 7.19 2.60 0
194 DENSE 20480 5120 4.00 3.16 0.01 5.31 1.68 0
196 DENSE 5120 5120 1.00 2.69 0.01 5.68 2.11 5
197 DENSE 5120 5120 1.00 2.97 0.04 3.07 1.03 5
198 DENSE 5120 5120 1.00 2.53 0.05 4.28 1.69 6
199 DENSE 5120 5120 1.00 3.23 0.06 2.53 0.78 6
201 DENSE 20480 5120 4.00 2.77 0.02 7.20 2.59 0
202 DENSE 20480 5120 4.00 3.12 0.02 5.07 1.63 0
204 DENSE 5120 5120 1.00 2.65 0.02 5.40 2.04 5
205 DENSE 5120 5120 1.00 2.82 0.04 3.13 1.11 6
206 DENSE 5120 5120 1.00 2.43 0.04 4.08 1.68 6
207 DENSE 5120 5120 1.00 2.89 0.07 2.73 0.95 8
209 DENSE 20480 5120 4.00 2.78 0.02 7.20 2.59 0
210 DENSE 20480 5120 4.00 3.06 0.02 4.98 1.63 0
212 DENSE 5120 5120 1.00 2.75 0.01 5.72 2.08 6
213 DENSE 5120 5120 1.00 3.04 0.03 3.41 1.12 6
214 DENSE 5120 5120 1.00 2.57 0.04 4.21 1.64 6
215 DENSE 5120 5120 1.00 3.29 0.06 2.99 0.91 6
217 DENSE 20480 5120 4.00 2.79 0.02 7.23 2.59 0
218 DENSE 20480 5120 4.00 3.05 0.02 5.11 1.67 0
220 DENSE 5120 5120 1.00 2.74 0.01 5.47 1.99 7
221 DENSE 5120 5120 1.00 3.07 0.05 3.14 1.02 6
222 DENSE 5120 5120 1.00 2.50 0.04 4.13 1.65 5
223 DENSE 5120 5120 1.00 9.39 0.06 9.12 0.97 7
225 DENSE 20480 5120 4.00 2.83 0.01 7.40 2.61 0
226 DENSE 20480 5120 4.00 3.17 0.02 5.26 1.66 0
228 DENSE 5120 5120 1.00 2.76 0.01 5.25 1.90 6
229 DENSE 5120 5120 1.00 4.18 0.04 4.36 1.04 6
230 DENSE 5120 5120 1.00 2.48 0.04 4.00 1.61 5
231 DENSE 5120 5120 1.00 3.13 0.05 3.35 1.07 7
233 DENSE 20480 5120 4.00 2.89 0.01 7.59 2.63 0
234 DENSE 20480 5120 4.00 3.32 0.03 5.52 1.66 0
236 DENSE 5120 5120 1.00 2.73 0.01 5.38 1.97 6
237 DENSE 5120 5120 1.00 8.46 0.04 8.52 1.01 6
238 DENSE 5120 5120 1.00 3.57 0.03 7.23 2.02 6
239 DENSE 5120 5120 1.00 9.13 0.04 9.97 1.09 6
241 DENSE 20480 5120 4.00 2.94 0.01 7.73 2.63 0
242 DENSE 20480 5120 4.00 4.24 0.03 7.04 1.66 0
244 DENSE 5120 5120 1.00 2.83 0.01 5.71 2.02 6
245 DENSE 5120 5120 1.00 8.67 0.03 8.18 0.94 5
246 DENSE 5120 5120 1.00 2.65 0.02 4.93 1.86 6
247 DENSE 5120 5120 1.00 5.79 0.03 6.39 1.10 7
249 DENSE 20480 5120 4.00 3.00 0.01 7.86 2.62 0
251 DENSE 20480 5120 4.00 3.38 0.03 5.54 1.64 0
253 DENSE 5120 5120 1.00 2.84 0.02 6.77 2.38 5
254 DENSE 5120 5120 1.00 6.67 0.04 5.55 0.83 5
255 DENSE 5120 5120 1.00 2.78 0.01 6.29 2.27 5
256 DENSE 5120 5120 1.00 4.91 0.03 5.30 1.08 6
258 DENSE 20480 5120 4.00 3.01 0.01 7.86 2.61 0
259 DENSE 20480 5120 4.00 3.51 0.03 5.74 1.63 0
261 DENSE 5120 5120 1.00 3.11 0.02 7.63 2.45 7
262 DENSE 5120 5120 1.00 8.00 0.03 7.21 0.90 6
263 DENSE 5120 5120 1.00 2.75 0.01 6.48 2.36 6
264 DENSE 5120 5120 1.00 5.15 0.04 5.45 1.06 4
266 DENSE 20480 5120 4.00 3.03 0.01 7.93 2.62 0
267 DENSE 20480 5120 4.00 3.79 0.03 6.20 1.64 0
269 DENSE 5120 5120 1.00 3.05 0.02 7.60 2.49 6
270 DENSE 5120 5120 1.00 9.18 0.04 8.25 0.90 6
271 DENSE 5120 5120 1.00 2.65 0.01 6.28 2.37 5
272 DENSE 5120 5120 1.00 7.14 0.02 7.26 1.02 5
274 DENSE 20480 5120 4.00 3.09 0.01 8.13 2.63 0
275 DENSE 20480 5120 4.00 4.01 0.01 6.47 1.61 0
277 DENSE 5120 5120 1.00 3.16 0.02 8.22 2.60 5
278 DENSE 5120 5120 1.00 12.79 0.04 12.06 0.94 5
279 DENSE 5120 5120 1.00 2.52 0.01 5.90 2.34 7
280 DENSE 5120 5120 1.00 8.86 0.03 8.83 1.00 5
282 DENSE 20480 5120 4.00 3.11 0.01 8.24 2.65 0
283 DENSE 20480 5120 4.00 4.05 0.01 6.35 1.57 0
285 DENSE 5120 5120 1.00 3.13 0.03 8.48 2.71 5
286 DENSE 5120 5120 1.00 7.78 0.06 6.68 0.86 4
287 DENSE 5120 5120 1.00 2.33 0.02 5.58 2.39 6
288 DENSE 5120 5120 1.00 8.33 0.04 8.07 0.97 4
290 DENSE 20480 5120 4.00 3.14 0.01 8.34 2.65 0
291 DENSE 20480 5120 4.00 4.10 0.01 6.30 1.54 0
293 DENSE 5120 5120 1.00 2.73 0.03 7.70 2.82 6
294 DENSE 5120 5120 1.00 20.26 0.08 16.11 0.80 5
295 DENSE 5120 5120 1.00 2.23 0.04 5.57 2.49 4
296 DENSE 5120 5120 1.00 9.90 0.06 9.97 1.01 4
298 DENSE 20480 5120 4.00 3.17 0.02 8.30 2.62 0
299 DENSE 20480 5120 4.00 4.20 0.02 6.28 1.50 0
301 DENSE 5120 5120 1.00 3.32 0.02 9.45 2.84 5
302 DENSE 5120 5120 1.00 18.29 0.06 16.03 0.88 4
303 DENSE 5120 5120 1.00 2.25 0.02 5.56 2.47 5
304 DENSE 5120 5120 1.00 7.55 0.07 9.65 1.28 5
306 DENSE 20480 5120 4.00 3.30 0.02 8.64 2.62 0
307 DENSE 20480 5120 4.00 4.20 0.03 6.56 1.56 0
309 DENSE 5120 5120 1.00 3.39 0.02 9.73 2.87 7
310 DENSE 5120 5120 1.00 3.72 0.09 3.13 0.84 5
311 DENSE 5120 5120 1.00 2.20 0.03 5.73 2.61 5
312 DENSE 5120 5120 1.00 7.00 0.07 10.34 1.48 4
314 DENSE 20480 5120 4.00 3.45 0.02 9.10 2.64 0
315 DENSE 20480 5120 4.00 4.39 0.02 7.72 1.76 0
317 DENSE 5120 5120 1.00 3.13 0.01 9.14 2.92 6
318 DENSE 5120 5120 1.00 7.95 0.06 9.83 1.24 5
319 DENSE 5120 5120 1.00 2.26 0.03 6.05 2.67 6
320 DENSE 5120 5120 1.00 5.77 0.08 8.63 1.50 6
322 DENSE 20480 5120 4.00 3.85 0.01 10.89 2.82 0
323 DENSE 20480 5120 4.00 4.19 0.02 8.38 2.00 0