开源数据匿名化和合成数据编排

|网站 |文档 | Discord |博客 |更新日志 |

介绍

Neosync是一种开源的、开发人员优先的方法，用于匿名化 PII、生成合成数据和同步环境，以实现更好的测试、调试和开发人员体验。

公司使用 Neosync 来：

1. 根据生产数据安全地测试代码- 匿名化敏感生产数据，以便在本地安全地使用，从而获得更好的测试和开发人员体验
2. 轻松在本地重现生产错误- 对生产数据进行匿名化和子集化，以获得安全、有代表性的数据集，您可以使用该数据集快速高效地在本地重现生产错误
3. 为低级环境提供高质量数据- 使用类似生产的数据补充您的暂存和 QA 环境，在错误影响生产之前发现它们
4. 解决 GDPR、DPDP、FERPA、HIPAA 等问题- 使用匿名和合成数据来缩小合规范围并轻松遵守 HIPAA、GDPR 和 DPDP 等法律
5. 种子开发数据库- 轻松使用合成数据为单元测试、演示等植入开发数据库

特征

• 根据您的模式生成合成数据
• 匿名化现有生产数据以获得更好的开发人员体验
• 使用任意 SQL 查询对生产数据库进行子集化以进行本地和 CI 测试
• 完整的异步管道，使用事件源模型自动处理作业重试、失败和回放
• 自动实现数据的参照完整性
• 声明式的、基于 GitOps 的配置是 CI 管道中的一个步骤，用于补充 CI DB
• 为所有主要数据类型预先构建数据转换器
• 使用 javascript 或 LLM自定义数据转换器
• 与 Postgres、Mysql、S3 的预构建集成

入门

Neosync 是一个完全 Docker 化的设置，可以轻松启动和运行。

根目录下的compose.yml文件包含生产图像参考，允许您仅使用几个命令即可启动并运行，而无需在系统上构建任何东西。

Neosync 使用较新的docker compose命令，因此请确保您的机器上安装了该命令。

要启动 Neosync，请将 repo 克隆到本地目录，确保已安装并运行 docker，然后运行：

make compose/up

要停止，请运行：

make compose/down

Neosync 现在可以在http://localhost:3000上使用。

生产组合预先包含连接和作业，帮助您入门！只需运行生成和同步作业即可观看 Neosync 的运行！

Kubernetes、Auth 模式等

有关环境变量、Kubernetes 部署和生产就绪指南的更多详细信息，请查看我们文档的部署 Neosync部分。

资源

以下一些资源可为您提供帮助：

• Docs提供全面的文档和指南
• Discord用于与社区和 Neosync 团队进行讨论
• X获取最新更新

贡献

我们欢迎大大小小的贡献。以下是您可以为 Neosync 做出贡献的几种方式。

• 加入我们的Discord频道并在那里向我们提问
• 打开 PR（请参阅我们关于使用 Neosync 进行本地开发的说明）
• 提交功能请求或错误报告

许可

我们坚信自由和开源软件，并使此 repo 在MIT expat 许可下可用。