Basefold 笔记:Random Foldable Codes
前面几篇文章已经提到了 BaseFold 通过引入 foldable code 的概念,扩展了 FRI IOPP,并且结合 Sumcheck 协议能够支持做 Multi-linear Polynomial 的 PCS。接下来还剩下一个关键的问题,那就是这样的 foldable code 如何显式地进行构造呢?我们想要这样的可折叠编码(foldable code)具有以下几个性质:
- 能够高效编码
- 无视域的大小,即对于小域也适用
- 能够适用于多元线性多项式的 PCS
还有对于编码比较重要的一点,就是考虑其编码的最小相对海明距离(Minimum Relative Hamming distance)。如果读者比较熟悉 FRI 协议,想必对其用到的 Reed-Solomon 编码并不陌生,其有一个很好的性质,便是其距离能达到 Singleton bound,即其距离满足 d=n−k+1 ,这也被称之为属于 Maximum Distance Separable (MDS)编码。这样的编码很好的平衡了编码长度与其纠错能力,即用最少的冗余提供了最强的错误检测与纠错能力,这大大节省了编码的空间。放在 PCS 协议中,验证者能够更加高效的进行检测了。因此从实用角度考虑,我们还希望这样的可折叠编码满足第 4 点:
- 具有良好的相对最小距离
BaseFold 论文[ZCF23]中就构造了这样一种称为 Random Foldable Code (RFCs) 的编码,满足上述的性质。接下来我们看看它是如何做到这几点的。
高效编码算法¶
这一系列的第一篇文章中其实已经提到了 foldable linear code 的概念以及 BaseFold 的编码算法。这里做下简单的回顾。
定义 1 [ZCF23, Definition 5] ((c,k0,d) - foldable linear codes). 令 c,k0,d∈N 以及 F 表示一个有限域。一个以 Gd 为生成矩阵的线性编码 Cd:Fk0⋅2d→Fck0⋅2d 被称为是 foldable 是说:如果存在一系列的生成矩阵 (G0,…,Gd−1) 以及对角矩阵 (T0,…,Td−1) 以及 (T0′,…,Td−1′) 使得对于任意的 i∈[1,d] 都有
- 对角矩阵 Ti−1,Ti−1′∈Fck0⋅2i−1×ck0⋅2i−1 满足对任意的 j∈[ck0⋅2i−1] 都有 diag(Ti−1)[j]=diag(Ti−1′)[j] 成立;
- 矩阵 Gi∈Fk0⋅2i×ck0⋅2i (按行进行排列)等于
Gi=[Gi−1Gi−1⋅Ti−1Gi−1Gi−1⋅Ti−1′]. 为了高效的构造一个 foldable linear code,采用均匀采样的方式生成,先定义这样的一簇随机可折叠分布(random foldable distributions)。
定义 2 [ZCF23, Definition 9] ((c,k0) - foldable distributions) 固定有限域 F 以及 c,k0∈N 。令 G0∈Fk0×ck0 是一个满足最大距离可分性的 [ck0,k0] 线性编码的生成矩阵,并且设 D0 为输出 G0 的分布,概率为 1 。对每个 i>0 ,我们递归的定义分布 Di ,该分布会采样生成矩阵 (G0,G1,…,Gi) ,其中 Gi∈Fki×ni 且 ki:=k0⋅2i ,ni:=cki :
- 采样 (G0,…,Gi−1)←Di−1 ;
- 采样 diag(Ti−1)←$(F×)ni−1 并定义 Gi 为
Gi=[Gi−1Gi−1⋅Ti−1Gi−1Gi−1⋅−Ti−1]. 一旦初始的生成矩阵 G0 确定之后,只需从 F× (表示从 F 去掉 0 元素)均匀采样生成 n0 个随机数,生成对角矩阵 T0 的对角元素,就可以得到下一个生成矩阵 G1 ,再依次递归下去生成 (G2,…,Gi) 。在 PCS 中,以均匀采样的方式生成可折叠编码的方式能够帮助实现高效的证明者。
注意上述定义中说到要求初始的 G0 是一个满足 MDS 性质线性编码的生成矩阵,在论文 [ZCF23] 脚注中提到,这一点并不是必须要满足的,添加该性质只是为了后文简化对编码距离的分析,其实关于距离的分析对于任意的线性编码都是成立的。
协议 1 Encd [ZCF23, Protocol 1]: BaseFold 编码算法
输入:原消息 m∈Fkd
输出:w∈Fnd 使得 w=m⋅Gd
参数:G0 以及对角矩阵 (T0,T1,…,Td−1)
- If d=0 (即 m∈Fk0 ):
(a) 返回 Enc0(m)
- else
(a) 分解 m:=(ml,mr)
(b) 令 l:=Encd−1(ml) ,r:=Encd−1(mr) 以及 t=diag(Td−1)
(c) 返回 (l+t∘r,l−t∘r)
通过分析协议 1 ,可以看出编码得到 Cd 只需要 2dnd 域乘法与 dnd 域加法,即需要 0.5nlogn 域乘法和 nlogn 的域加法,总体来说编码复杂度是 O(nlogn) 的。至此我们已经介绍了 BaseFold 给出的 Random linear Foldable Codes 的显式构造,且验证了其确实是高效编码的。
多项式拯救世界:基于多项式的编码¶
接下来我们来看看 Random Foldable Code 的第 2 个和第 3 个性质:
- 无视域的大小,即对于小域也适用
- 能够适用于多元线性多项式的 PCS
前面提到过 Reed-Solomon 编码能够达到 Singleton 界限,但是其仅在字母表比较大(即 q≫n )的情况下才能实现这种显著的特性。好在我们可以扩展 Reed-Solomon 编码,称之为 Reed-Muller 编码,这样我们就从一元多项式编码进入到了多元多项式编码的世界。这使得我们能够在小域上( q≪n )适用了,虽然这其中会失去一点距离和纠错能力的平衡,但是这是值得的。
在 [ZCF23] 的附录 D 中告诉我们 Random Foldable Code 就是截断的 Reed-Muller 编码(Punctured Reed-Muller Codes)的一个特例。这样 Random Foldable Code 就可以无视域的大小,同时由于进入到了多元多项式的世界,也就能够适用于多元线性多项式的 PCS 了。
我们知道 Reed-Solomon 编码的编码空间是由不超过一个次数 d 的一元多项式组成的集合,那 Reed-Muller 编码其实就是从一元多项式扩展到了多元多项式,其编码空间就是多元多项式的总次数不超过 d 的集合。
对于 n,d,q 且 d<q ,定义 Reed-Muller 编码为([GJX15])
RMq(n,d):={(F(u))u∈Fqn:F∈Fq[X1,⋯,Xn],deg(F)≤d}. Reed-Muller code 表示的是总次数不超过 d 的 n 元多项式在 Fqn 上的取值的集合。编码 RMq(n,d) 的长度为 qn ,维数为 (nn+d) 。
从字面上来理解 Punctured Reed-Muller 编码,其就是 Reed-Muller code 的一个截断。具体来说就是估计的点 u 不取到所有的 Fqn ,只取到其中的一部分,设其为 T={u1,u2,…,uN} ,通常的 Punctured Reed-Muller code 的定义允许这个集合 T 是多重集合 (multiset),即允许其中有重复元素,这里不做该要求。记 RMq(n,d)∣T 为 Fq - 线性码:
RMq(n,d)∣T:={(F(u1),F(u2),⋯,F(uN)):F∈Fq[X1,⋯,Xn],deg(F)≤d}. 这就被称为 punctured Reed-Muller code ([GJX15])。通过定义也可以发现其就是 Reed-Muller 编码的一个子集,只是选取了其中的 N 个点,这和字面上的“截断的(punctured)”也是相符的。
有了上述关于 punctured Reed-Muller code 的概念,我们来看看论文 [ZCF23] 附录 D 中给出的下面这个引理,它告诉我们 foldable linear codes 就是 punctured Reed-Muller codes 的一个特例。
引理 1 [ZCF23, Lemma 11] (Foldable Punctrured Reed-Muller Codes). 令 Cd 是一个可折叠的线性编码 (foldable linear code) ,其生成矩阵是 (G0,…,Gd−1) ,对角矩阵为 (T0,…,Td−1), (T0′,…,Td−1′) 。那么存在一个子集 D⊂Fd 使得 Cd={(P(x):x∈D):P∈F[X1,…,Xd]} ,即 Cd 中的每个码字都是一个多元线性多项式 P 在 D 中的每个点的取值。
证明:用归纳法证明。为了叙述的简单,考虑 C0 是重复码。对于最基本的情况, Enc0(m)=m∥…∥m 是一个次数为 0 的多项式 P≡m 在 c 个不同点的 evaluation。假设对于 i<d ,存在一个集合 Di 使得 Ci={(P(x):x∈Di):P∈F[X1,…,Xi]} 。不失一般性,通过任意分配一个整数 j∈[1,c⋅2i] 给 Di 中的每个元素来进行索引。根据这个顺序,将 xj 表示为 Di 中的第 j 个元素。
令 t=diag(Ti),t′=diag(Ti′),ni=c⋅2i,v∈F2i+1 ,令 P∈F[X1,…,Xi+1] 表示是以 v 中的元素为系数的多项式。最后,令 Pl,Pr∈F[X1,…,Xi] 使得 P(X1,…,Xi+1)=Pl(X1,…,Xi)+Xi+1Pr(X1,…,Xi) 。则有
Enci+1(v)=Enci(vl)+diag(Ti)∘Enci(vr)∥Enci(vl)+diag(Ti)∘Enci(vr)(由 Protocol 1 编码算法得)=(Pl(x1),…,Pl(xn))+diag(Ti)∘(Pr(x1),…,Pr(xn))∥(Pl(x1),…,Pl(xn))+diag(Ti′)∘(Pr(x1),…,Pr(xn))(由归纳假设可得)=(Pl(x1)+t1Pr(x1),…,Pl(xn)+tnPr(xn),Pl(x1)+t1′Pr(x1),…,Pl(xn)+tn′Pr(xn))(由 Hadamard 积的定义得)=(P(x1,t1),…,P(xn,tn),P(x1,t1′),…,P(xn,tn′))(由 P 的定义得) 因此,令 Di+1={(x1,t1),…,(xn,tn),(x1,t1′),…,(xn,tn′)} ,对于 i+1 时引理也成立。因此由归纳法得证。\Box
良好的相对最小距离¶
最后,我们关注 Random Foldable Code (RFCs) 满足的第 4 个性质:
- 具有良好的相对最小距离
论文[ZCF23]中证明了 RFCs 最小海明(Hamming distance)的紧的界限(“紧的”界限意味着实际是能够达到的界限)。例如,一个在 256 位有限域上具有消息长度 225 和码率 81 的 RFC,其相对最小距离以压倒性概率为 0.728 。而对于码率为 81 的 code ,其能够达到的最大的相对最小 Hamming 距离大约是 1−81=0.875 ,可以看到 0.728 还是比较接近 0.875 的。这在实际中是比较实用的,并且这也意味着以压倒性概率(overwhelming probability),均匀采样的 foldable code(能够实现高效的PCS证明者)也具有良好的相对最小距离(能够实现高效的PCS验证者)。
上面说到的以“压倒性的概率”,这是由于我们在编码的过程中引入的分布 (G0,…,Gd)←Dd 导致的。当均匀的从 F× 中采样生成对角矩阵 Ti ,并令 Ti′=−Ti ,那么在选取的 (T1,…,Td) 基础上,以压倒性的概率(overwhelming probability) 得到的 Cd 的相对最小距离等于
1−(cϵFd+log∣F∣ϵFi=0∑d(ϵF)d−i(0.6+ni2log(ni/2)+λ))(1) 其中,c 是码率的倒数,ϵF=log∣F∣−1.001log∣F∣ ,ni 是编码的长度,d 是消息长度的对数,λ 是安全参数。如果选取 λ=128 ,意思是 (c,k0,d) - random foldable linear codes 能够以至少为 1−2−128 的概率达到上述的相对最小距离。
下面来看看 (1) 式的结果是如何得到的。我们现在的目标是想分析可折叠的随机编码(Foldable Random Codes) Cd 的相对最小距离。对于一个线性编码,其最小距离等于其中非零码字的最小 Hamming weight (Hamming weight 的意思就是一个向量中非零分量的个数),这是因为
d=c1=c2c1,c2∈CdminΔ(c1,c2)=c1=c2c1,c2∈Cdminwt(c1−c2)=c=0,c∈Cdminwt(c) 由于是线性编码,因此上式中的 c1−c2 也是 Cd 中的一个码字,从而最后一个等式成立。那么我们想证明对于任意非零消息,即 ∀m=0 ,编码之后的码字 Encd(m) 中没有太多的零分量,不妨设最多为 td 个,用 nzero(⋅) 来表示一个向量中零分量的个数, 则我们想要说明
∀m=0,nzero(Encd(m))≤td(2) 用 nd 表示码字 Encd(m) 的长度,那么由 (2) 可得到
∀m=0,wt(Encd(m))≥nd−td 因此 Cd 能够达到的相对最小距离就为
Δ(Cd)=ndminc=0,c∈Cdwt(c)=ndnd−td=1−ndtd(3) (1) 式的结果就是通过 (3) 式计算而来的,现在剩下的任务就是分析 td 具体等于多少了,也就是对于任意非零的消息,编码之后的码字中的零分量的个数有多少。
借助归纳法¶
借助于强有力的工具——归纳法,我们来分析 td 。假设以压倒性的概率(基于对角矩阵 T0,…,Ti−1 的选择),对于任意的非零消息 m∈Fki {0ki} ,编码之后的 Enci(m) 最多有 ti 个零分量。我们来分析 i+1 的情况。对于任意的非零消息 m=(ml,mr)∈F2ki ,
Enci+1(m)=(ml,mr)[GiGi⋅TiGiGi⋅−Ti]=(mlGi+mlGi⋅Ti,mlGi−mlGi⋅Ti)=(Enci(m)+Enci(m)∘diag(Ti),Enci(m)−Enci(m)∘diag(Ti)):=(Ml∥Mr) 也就是看看向量 (Ml∥Mr) 中零分量的个数有多少。将 Ml 与 Mr 分开表示,即为
Ml=Enci(ml)+Enci(mr)∘diag(Ti)Mr=Enci(ml)−Enci(mr)∘diag(Ti) 设 t=diag(Ti) ,对每一个 j∈[1,ni] ,设 Aj=Enci(ml)[j] ,Bj=Enci(mr)[j] ,定义一个函数:
fj(x)=Aj+xBj(4) 如果 fj(t[j])=0 或者 fj(−t[j])=0 ,就说明 Ml[j]=0 或者 Mr[j]=0 ,也就找到了编码之后的零分量。先从 Aj ,Bj 是否为零来分析 fj(x) 是否为零,分为以下几种情况:
| Aj=0 | Aj=0 |
---|
Bj=0 | fj(x)≡0 | fj(x)=Aj=0 |
Bj=0
| fj(x)=xBj | fj(x)=Aj+xBj |
首先考虑第一种情况,那就是 Aj=Bj=0 ,可以发现无论 x 取什么值,fj(x)≡0 ,此时 Ml[j]=0 并且 Mr[j]=0 。满足这样的指标 j∈[ni] 也有多少呢?我们用一个集合 S⊆[ni] 来表示,并且由归纳假设知道 ∣S∣≤ti ,用 mi+1(S) 来表示那些非零的消息能满足 Aj=Bj=0 ,即
S={j∈[1,ni]:Aj=Bj=0}. 在这种情况下,Ml[j]=Mr[j]=0 , 那么 (Ml∥Mr) 中已经找到了有 2∣S∣ 个分量为零了。
考虑第 2 种情况,Aj=0,Bj=0 ,此时 fj(x)=Aj=0 ,这种情况下肯定找不到零分量。
下面考虑表格中的最后一行,Bj=0 ,此时指标 j 肯定不在 S 中,我们定义一个指标集合 ┐S∗⊆┐S 使得
┐S∗={j∈[1,ni]\S,Bj=0} 对于每一个 j∈┐S∗ ,定义一个随机变量
Xj=1{fj(t[j])=0}+1{fj(−t[j])=0} 其中的 1(⋅) 表示一个指示函数,如果括号中的条件成立则为 1 ,否则为 0 。那么 Xj 的值就反映了对于一个 j∈┐S∗ ,向量 Ml 与 Mr 在 j 这个位置上总共有几个分量为零,其可能的取值就有 {0,1,2} 个。首先,可以发现,Xj 是一个独立的 Bernulli 试验,因为 t[j] 是从 F× 中独立采样的。令 zj∈F× ,使得 fj(zj)=0 。那么当 t[j]=zj 时, 1{fj(t[j])=0}=1 ,而当 t[j]=−zj 时,1{fj(−t[j])=0}=1 。接下来分析 Xj 的取值:
- Xj=2 。此时说明 fj(t[j])=0 且 fj(−t[j])=0 ,说明 t[j]=zj=−zj ,这说明 zj=0 ,这是不可能的,因为 zj∈F× 。
- Xj=1 。此时说明 fj(t[j])=0 或 fj(−t[j])=0 ,此时 t[j]=zj 或者 t[j]=−zj ,其发生的概率为 ∣F∣−12 。
- Xj=0 。说明 t[j]=zj 并且 t[j]=−zj ,其发生的概率自然为 1−∣F∣−12 。
当 j 取遍 ┐S∗ ,将所有的 Xj 相加,就得到了此时 (Ml∥Mr) 中零分量的个数,即 X=∑j∈┐S∗Xj 。
至此,我们就分析完了表格中的所有情况,那么可以得到
nzero(Enci+1(m))=2∣S∣+X 下面就是分析 ∣S∣ 和这个 X 了,想证明对于任意非零消息 m∈F2ki\{02ki} ,编码之后的 Enci+1(m) 以压倒性的概率最多有 ti+1 个零分量。现在分析 Enci+1(m) 至少有 2ti+li 个零分量的概率:
Pr[nzero(Enci+1(m))≥2ti+li]=Pr[2∣S∣+X≥2ti+li]=Pr[X≥2ti+li−2∣S∣]=Pr[j∈┐S∗∑Xj≥2ti+li−2∣S∣]≤j=2ti+li−2∣S∣∑∣┐S∗∣(i∣┐S∗∣)⋅(∣F∣−12)i⋅(1−∣F∣−12)∣┐S∗∣−i(由二项式定理得 (i∣┐S∗∣)≤2∣┐S∗∣ )≤∣┐S∗∣⋅2∣┐S∗∣(∣F∣−12)2ti+li−2∣S∣≤∣┐S∣⋅2∣┐S∣⋅(∣F∣−12)2ti+li−2∣S∣(┐S∗⊆┐S)=∣[1,ni]\S∣⋅2∣[1,ni]\S∣⋅(∣F∣−12)2ti+li−2∣S∣=(ni−∣S∣)⋅2ni−∣S∣⋅(∣F∣−12)2ti+li−2∣S∣(设 ∣F∣≥210,可得 ∣F∣−12≤∣F∣2.002 )≤ni⋅2ni−∣S∣(∣F∣2.002)2ti+li−2∣S∣ 我们注意到,指标集合 S⊆[1,ni] ,如果任意选取集合 S ,对于每一个指标 i∈[1,ni] ,都有两种可能,那就是选取或者不选取进集合 S ,那么集合 S 的选取总共就有 2ni 种。当我们取遍了集合 S 的所有的可能,那么将这些 S 形成的 mi+1(S) 并起来 ∪S⊆[1,ni]mi+1(S) ,就能覆盖在 Fki+1=F2ki 中的所有消息了。论文 [ZCF23] 引理 2 告诉我们 mi+1(S) 集合的大小最多为 Fti−∣S∣ 。那么取遍所有 2ni 种可能的 S 集合,每个集合 S 中最多有 Fti−∣S∣ 个消息 m∈F2ki 。通过将所有 S 并起来的方式,联合每个 S 大小的界限,可以得到当 li 足够大时,即 ∣F∣li≫2ni 时,ni⋅2ni−∣S∣(∣F∣2.002)2ti+li−2∣S∣ 会足够的小,此时对于任意的非零向量 m∈F2ki ,都有 nzero(Enci+1(m))≤2ti+li ,即 Enci+1(m) 中最多有 2ti+li 个零分量。
论文 [ZCF23] 中以定理的形式给出了更加具体的描述。
定理 1 [ZCF23, 定理 2] 固定任意的有限域 F ,其中 ∣F∣≥210 ,设 λ∈N 是安全参数。对于一个分量元素在 F 中的向量 v ,用 nzero(v) 表示向量 v 中零分量的个数。对于任意的 d∈N ,设 Dd 是 (c,k0)-可折叠的分布,设对每一个 i≤d ,ki=k02i,ni=cki 。那么
(G0,…,Gd)←DdPr[∃m∈Fkd\{0},nzero(Encd(m))≥td]≤d⋅2−λ(5) 其中,t0=k0 以及对每一个的 i∈[d] , ti=2ti−1+li ,
li:=log∣F∣−1.0012(d−1)logn0+λ+2.002td−1+0.6nd. (5) 式告诉我们 Encd(m) 中零分量个数极大概率小于 td ,因为如果超过 td ,其概率可忽略不计。由于 ti 的值给出的是一个迭代的式子,即 ti=2ti−1+li ,因此可以通过迭代式求和得到 td ,那么可以得到能够达到的最大的在 Cd 中的相对 0 的个数 ZCd=ndtd ,再计算 1−ZCd 即可得到 Cd 能够达到的最小的相对 Hamming 距离 ΔCd ,其结果就为 (1) 式:
1−(cϵFd+log∣F∣ϵFi=0∑d(ϵF)d−i(0.6+ni2log(ni/2)+λ)). 由迭代式 ti=2ti−1+li 也可以发现,随着 i 的增加,ti 比 2ti−1 还多 li ,从 i 到 i+1 ,编码长度每次增加一倍,因此码字中能达到的最大的 0 分量的相对个数在增加,因此能达到的最小相对 Hamming 距离在减少。如果 ΔCd 比较大,那么通过这种迭代方式得到的 Ci ,可以得到极大概率有 ΔC0≥ΔC1≥…≥ΔCd ,从 i=d 到 i=0 ,可以看到这种编码方式不会减小 ΔCd ,在 IOPP 协议中,如果开始的最小相对 Hamming 距离比较大,那么到最后极大概率有 ΔC0 也依然会比较大,这一点在分析 IOPP 的 soundness 中也起了比较重要的作用。
References¶
- [ZCF23] Hadas Zeilberger, Binyi Chen, and Ben Fisch. “BaseFold: efficient field-agnostic polynomial commitment schemes from foldable codes.” Annual International Cryptology Conference. Cham: Springer Nature Switzerland, 2024.
- [GJX15] Venkatesan Guruswami, Lingfei Jin, and Chaoping Xing. “Efficiently List-Decodable Punctured Reed-Muller Codes”. In: IEEE Transactions on Information Theory 63 (2015), pp. 4317–4324. url: https://api.semanticscholar.org/CorpusID: 14176561.