在Python中访问未知类型的Protobuf消息的字段

假设我有2个Protobuf消息,A和B.它们的总体结构相似,但不完全相同。 所以我们把共享的东西放到了一个我们称为Common的单独消息中。 这工作很好。

然而,我现在面临以下问题:存在一个特殊情况,我必须处理序列化消息,但我不知道它是A类型还是B类型消息。我在C ++中有一个工作解决方案(显示下面),但我没有找到一种方法来在Python中做同样的事情。

例:

// file: Common.proto
// contains some kind of shared struct that is used by all messages:
message Common {
 ...
}

// file: A.proto
import "Common.proto";

message A {
   required int32  FormatVersion             = 1;
   optional bool   SomeFlag [default = true] = 2;
   optional Common CommonSettings            = 3;

   ... A-specific Fields ...
}

// file: B.proto
import "Common.proto";

message B {
   required int32  FormatVersion             = 1;
   optional bool   SomeFlag [default = true] = 2;
   optional Common CommonSettings            = 3;

   ... B-specific Fields ...
}

在C ++中工作的解决方案

在C ++中,我使用反射API来访问CommonSettings字段,如下所示:

namespace gp = google::protobuf;
...
Common* getCommonBlock(gp::Message* paMessage)
{
   gp::Message* paMessage = new gp::Message();
   gp::FieldDescriptor* paFieldDescriptor = paMessage->GetDescriptor()->FindFieldByNumber(3);
   gp::Reflection* paReflection = paMessage->GetReflection();
   return dynamic_cast<Common&>(paReflection->GetMessage(*paMessage,paFieldDescriptor));
}

方法'getCommonBlock'使用FindFieldByNumber()来获取我试图获取的字段的描述符。 然后它使用反射来获取实际数据。 只要公共字段保持位于索引3,getCommonBlock就可以处理类型A,B或任何未来类型的消息。

我的问题是:有没有办法做类似的事情Python? 我一直在看Protobuf的文档,但无法找到一个办法。


我知道这是一条古老的线索,但无论如何我会为后人做出回应:

首先,如您所知,无法纯粹从其序列化形式确定协议缓冲区消息的类型。 您可以访问的序列化表单中的唯一信息是字段编号及其序列化值。

其次,做到这一点的“正确”方法是制定一个包含两者的原型,比如

message Parent {
   required int32  FormatVersion             = 1;
   optional bool   SomeFlag [default = true] = 2;
   optional Common CommonSettings            = 3;

   oneof letters_of_alphabet {
      A a_specific = 4;
      B b_specific = 5;
   }
}

这样就没有歧义:你每次只解析相同的原始数据( Parent )。


无论如何,如果改变时间为时已晚,我建议你做的只是定义一个只有共享字段的新消息,比如

message Shared {
   required int32  FormatVersion             = 1;
   optional bool   SomeFlag [default = true] = 2;
   optional Common CommonSettings            = 3;
}

然后,您应该能够假装该消息( AB )实际上是Shared ,并相应地解析它。 未知领域将无关紧要。


Python比静态类型语言(如C ++)的一个优点是,您不需要使用任何特殊的反射代码来获取未知类型对象的属性:只需询问对象即可。 内置的函数是getattr ,所以你可以这样做:

settings_value = getattr(obj, 'CommonSettings')

我有类似的问题。

我所做的就是创建一个新的消息,用一个枚举指定类型:

enum TYPE {
  A = 0;
  B = 1;
}
message Base {
  required TYPE type = 1;
  ... Other common fields ...
}

然后创建特定的消息类型:

message A {
  required TYPE type = 1 [default: A];
  ... other A fields ...
}

和:

message B {
  required TYPE type = 1 [default: B];
  ... other B fields ...
}

一定要正确定义“基本”消息,否则如果最近添加了字段,则不会是二进制兼容的(因为您将不得不移动继承消息字段)。

这样,你可以收到一条通用信息:

msg = ... receive message from net ...

# detect message type
packet = Base()
packet.ParseFromString(msg)

# check for type
if packet.type == TYPE.A:
    # parse message as appropriate type
    packet = A()
    packet.ParseFromString(msg)
else:
    # this is a B message... or whatever

# ... continue with your business logic ...

希望这可以帮助。

链接地址: http://www.djcxy.com/p/13529.html

上一篇: Accessing field of Protobuf message of unknown type in Python

下一篇: Data.table objects turn into data.frame after calling fix()