我的前一个项目是做数据迁移,就是将旧系统的数据迁移到新系统之上。
迁移流程包括:
- 分析新旧系统
- 清洗旧系统
- 转换数据
- 数据验证
- 重复第2、3、4步,直到数据适应新系统
- 部署新系统
主要运用的技术包括:
主要问题
- 旧系统数据问题。
旧系统用了很久,由于年代久远,该系统有过很多修补和升级,本身的数据经过不断的修补,有些已经不够干净。 - 新系统不稳定性。
当前系统还在不断开发中,某些数据结构可能发生更改,会影响到当前已经写好的数据转换脚本,从而导致迁移过来的数据不适应于当前系统。 - 新旧系统的复杂性。
无论是新系统还是旧系统,都有庞大的逻辑处理和很多的数据冗余。旧系统有表70+个,新系统的表甚至有100+。