opt-1.3b


Find this model in the OPT model summary

Model source: https://huggingface.co/facebook/opt-350m

opt-1.3b Model Summary Plots

opt-1.3b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
2 DENSE 2050 2048 1.00 3.04 0.08 6.15 2.02 10
4 DENSE 2048 2048 1.00 2.94 0.03 4.25 1.44 4
5 DENSE 2048 2048 1.00 5.81 0.04 -0.70 -0.12 7
6 DENSE 2048 2048 1.00 3.29 0.03 3.87 1.18 4
7 DENSE 2048 2048 1.00 3.10 0.08 5.88 1.90 9
9 DENSE 8192 2048 4.00 4.52 0.04 9.47 2.10 0
10 DENSE 8192 2048 4.00 4.79 0.06 9.43 1.97 0
12 DENSE 2048 2048 1.00 1.78 0.03 4.12 2.31 12
13 DENSE 2048 2048 1.00 2.85 0.02 2.38 0.83 5
14 DENSE 2048 2048 1.00 2.03 0.04 4.68 2.31 15
15 DENSE 2048 2048 1.00 2.28 0.02 4.85 2.13 8
17 DENSE 8192 2048 4.00 3.91 0.05 9.05 2.32 0
18 DENSE 8192 2048 4.00 4.34 0.03 9.16 2.11 0
20 DENSE 2048 2048 1.00 2.13 0.02 4.84 2.28 15
21 DENSE 2048 2048 1.00 2.67 0.04 2.65 0.99 4
22 DENSE 2048 2048 1.00 2.20 0.02 4.95 2.25 17
23 DENSE 2048 2048 1.00 2.51 0.03 3.95 1.58 6
25 DENSE 8192 2048 4.00 3.61 0.03 8.87 2.46 0
26 DENSE 8192 2048 4.00 4.51 0.03 9.17 2.04 0
28 DENSE 2048 2048 1.00 2.43 0.03 4.37 1.80 16
29 DENSE 2048 2048 1.00 2.80 0.05 2.21 0.79 3
30 DENSE 2048 2048 1.00 2.38 0.02 4.32 1.82 22
31 DENSE 2048 2048 1.00 3.09 0.04 3.69 1.19 5
33 DENSE 8192 2048 4.00 3.29 0.02 8.18 2.49 0
34 DENSE 8192 2048 4.00 5.31 0.04 10.47 1.97 0
36 DENSE 2048 2048 1.00 2.83 0.04 4.85 1.71 15
37 DENSE 2048 2048 1.00 2.74 0.05 2.24 0.82 4
38 DENSE 2048 2048 1.00 2.62 0.02 4.83 1.84 23
39 DENSE 2048 2048 1.00 3.47 0.04 3.50 1.01 5
41 DENSE 8192 2048 4.00 3.14 0.02 7.54 2.40 0
42 DENSE 8192 2048 4.00 6.01 0.04 10.94 1.82 0
44 DENSE 2048 2048 1.00 2.24 0.03 3.83 1.71 16
45 DENSE 2048 2048 1.00 2.96 0.05 2.42 0.82 3
46 DENSE 2048 2048 1.00 2.38 0.02 4.75 1.99 17
47 DENSE 2048 2048 1.00 3.51 0.04 3.17 0.90 3
49 DENSE 8192 2048 4.00 3.11 0.02 7.27 2.34 0
50 DENSE 8192 2048 4.00 6.19 0.03 10.41 1.68 0
52 DENSE 2048 2048 1.00 2.58 0.02 5.07 1.96 9
53 DENSE 2048 2048 1.00 3.97 0.05 3.03 0.76 4
54 DENSE 2048 2048 1.00 2.50 0.02 4.90 1.96 7
55 DENSE 2048 2048 1.00 5.06 0.04 4.10 0.81 3
57 DENSE 8192 2048 4.00 3.07 0.02 7.17 2.33 0
58 DENSE 8192 2048 4.00 5.34 0.02 8.61 1.61 0
60 DENSE 2048 2048 1.00 2.73 0.02 5.38 1.97 6
61 DENSE 2048 2048 1.00 4.76 0.07 3.06 0.64 3
62 DENSE 2048 2048 1.00 2.62 0.03 4.75 1.81 6
63 DENSE 2048 2048 1.00 3.14 0.06 1.58 0.50 5
65 DENSE 8192 2048 4.00 2.98 0.01 7.02 2.36 0
66 DENSE 8192 2048 4.00 4.57 0.01 7.29 1.59 0
68 DENSE 2048 2048 1.00 2.87 0.02 5.77 2.01 5
69 DENSE 2048 2048 1.00 3.97 0.04 2.66 0.67 4
70 DENSE 2048 2048 1.00 2.55 0.03 4.29 1.68 5
71 DENSE 2048 2048 1.00 4.15 0.04 2.07 0.50 3
73 DENSE 8192 2048 4.00 3.26 0.02 7.69 2.36 0
74 DENSE 8192 2048 4.00 4.18 0.01 6.70 1.60 0
76 DENSE 2048 2048 1.00 2.63 0.02 5.23 1.99 3
77 DENSE 2048 2048 1.00 4.00 0.04 2.73 0.68 3
78 DENSE 2048 2048 1.00 2.30 0.05 3.80 1.65 3
79 DENSE 2048 2048 1.00 4.35 0.04 3.11 0.71 4
81 DENSE 8192 2048 4.00 3.37 0.02 7.84 2.33 0
82 DENSE 8192 2048 4.00 3.90 0.02 6.24 1.60 0
84 DENSE 2048 2048 1.00 2.87 0.02 5.56 1.94 2
85 DENSE 2048 2048 1.00 3.99 0.06 2.88 0.72 4
86 DENSE 2048 2048 1.00 2.74 0.06 4.24 1.55 3
87 DENSE 2048 2048 1.00 5.64 0.04 4.35 0.77 3
89 DENSE 8192 2048 4.00 3.53 0.01 8.20 2.32 0
90 DENSE 8192 2048 4.00 3.78 0.02 6.29 1.66 0
92 DENSE 2048 2048 1.00 2.87 0.02 5.38 1.87 3
93 DENSE 2048 2048 1.00 3.67 0.04 2.88 0.78 3
94 DENSE 2048 2048 1.00 2.64 0.05 3.90 1.48 3
95 DENSE 2048 2048 1.00 5.65 0.04 4.29 0.76 3
97 DENSE 8192 2048 4.00 3.54 0.01 8.20 2.32 0
98 DENSE 8192 2048 4.00 3.77 0.02 6.18 1.64 0
100 DENSE 2048 2048 1.00 2.73 0.02 5.31 1.95 4
101 DENSE 2048 2048 1.00 3.23 0.05 2.70 0.83 4
102 DENSE 2048 2048 1.00 2.66 0.06 3.93 1.48 4
103 DENSE 2048 2048 1.00 3.60 0.06 2.58 0.72 4
105 DENSE 8192 2048 4.00 3.45 0.02 7.90 2.29 0
106 DENSE 8192 2048 4.00 3.74 0.02 6.47 1.73 0
108 DENSE 2048 2048 1.00 2.55 0.02 5.06 1.98 3
109 DENSE 2048 2048 1.00 2.76 0.05 2.30 0.83 3
110 DENSE 2048 2048 1.00 3.10 0.05 4.53 1.46 3
111 DENSE 2048 2048 1.00 6.84 0.08 4.54 0.66 3
113 DENSE 8192 2048 4.00 3.32 0.02 7.65 2.31 0
114 DENSE 8192 2048 4.00 4.17 0.02 6.81 1.63 0
116 DENSE 2048 2048 1.00 2.88 0.02 5.45 1.89 3
117 DENSE 2048 2048 1.00 2.79 0.05 2.65 0.95 3
118 DENSE 2048 2048 1.00 2.69 0.05 3.83 1.43 3
119 DENSE 2048 2048 1.00 3.49 0.07 2.60 0.74 3
121 DENSE 8192 2048 4.00 3.34 0.02 7.80 2.34 0
122 DENSE 8192 2048 4.00 4.34 0.03 6.66 1.53 0
124 DENSE 2048 2048 1.00 3.13 0.03 5.47 1.75 3
125 DENSE 2048 2048 1.00 2.70 0.06 2.65 0.98 3
126 DENSE 2048 2048 1.00 3.11 0.05 4.44 1.43 3
127 DENSE 2048 2048 1.00 2.89 0.07 2.38 0.82 3
129 DENSE 8192 2048 4.00 3.58 0.01 8.41 2.35 0
130 DENSE 8192 2048 4.00 4.36 0.03 6.71 1.54 0
132 DENSE 2048 2048 1.00 2.78 0.02 5.17 1.86 3
133 DENSE 2048 2048 1.00 3.22 0.06 2.94 0.91 2
134 DENSE 2048 2048 1.00 2.73 0.04 3.79 1.39 4
135 DENSE 2048 2048 1.00 7.83 0.06 7.24 0.93 3
137 DENSE 8192 2048 4.00 3.59 0.01 8.57 2.39 0
138 DENSE 8192 2048 4.00 4.89 0.02 7.58 1.55 0
140 DENSE 2048 2048 1.00 2.68 0.02 4.92 1.84 3
141 DENSE 2048 2048 1.00 6.59 0.07 5.49 0.83 3
142 DENSE 2048 2048 1.00 2.48 0.05 3.50 1.41 2
143 DENSE 2048 2048 1.00 3.90 0.05 4.12 1.06 4
145 DENSE 8192 2048 4.00 3.57 0.01 8.65 2.42 0
146 DENSE 8192 2048 4.00 5.04 0.02 7.98 1.58 0
148 DENSE 2048 2048 1.00 2.56 0.02 4.38 1.71 2
149 DENSE 2048 2048 1.00 14.35 0.07 10.13 0.71 2
150 DENSE 2048 2048 1.00 2.60 0.05 3.69 1.42 3
151 DENSE 2048 2048 1.00 6.04 0.05 6.51 1.08 3
153 DENSE 8192 2048 4.00 3.58 0.01 8.69 2.43 0
154 DENSE 8192 2048 4.00 4.75 0.03 7.45 1.57 0
156 DENSE 2048 2048 1.00 2.77 0.02 4.78 1.72 3
157 DENSE 2048 2048 1.00 15.71 0.07 13.08 0.83 3
158 DENSE 2048 2048 1.00 2.77 0.03 4.11 1.48 2
159 DENSE 2048 2048 1.00 7.89 0.05 9.29 1.18 2
161 DENSE 8192 2048 4.00 3.57 0.01 8.79 2.46 0
162 DENSE 8192 2048 4.00 5.28 0.03 8.30 1.57 0
164 DENSE 2048 2048 1.00 3.47 0.04 6.31 1.82 3
165 DENSE 2048 2048 1.00 3.35 0.10 3.21 0.96 3
166 DENSE 2048 2048 1.00 2.60 0.03 3.89 1.50 3
167 DENSE 2048 2048 1.00 4.40 0.09 5.99 1.36 2
169 DENSE 8192 2048 4.00 3.52 0.01 8.78 2.49 0
170 DENSE 8192 2048 4.00 5.18 0.02 7.74 1.49 0
172 DENSE 2048 2048 1.00 3.17 0.05 5.27 1.66 2
173 DENSE 2048 2048 1.00 6.35 0.09 6.01 0.95 2
174 DENSE 2048 2048 1.00 3.29 0.03 5.20 1.58 3
175 DENSE 2048 2048 1.00 7.01 0.06 9.33 1.33 2
177 DENSE 8192 2048 4.00 3.58 0.01 8.99 2.51 0
178 DENSE 8192 2048 4.00 4.99 0.03 7.75 1.55 0
180 DENSE 2048 2048 1.00 3.62 0.04 8.34 2.30 2
181 DENSE 2048 2048 1.00 4.37 0.11 4.29 0.98 2
182 DENSE 2048 2048 1.00 3.45 0.04 7.08 2.05 2
183 DENSE 2048 2048 1.00 5.65 0.05 8.97 1.59 2
185 DENSE 8192 2048 4.00 3.69 0.01 9.23 2.50 0
186 DENSE 8192 2048 4.00 4.49 0.03 8.77 1.95 0
188 DENSE 2048 2048 1.00 2.91 0.04 9.59 3.30 5
189 DENSE 2048 2048 1.00 4.52 0.10 3.66 0.81 3
190 DENSE 2048 2048 1.00 1.90 0.05 7.07 3.71 2
191 DENSE 2048 2048 1.00 4.13 0.08 6.81 1.65 2
193 DENSE 8192 2048 4.00 3.96 0.03 10.59 2.67 0
194 DENSE 8192 2048 4.00 5.52 0.02 9.69 1.76 0