1. 软市首页
  2. 行业观察

python3如何随机生成大数据存储到指定excel文档里

• 行业观察

   本次主要采用的是python3的第三方库xlwt，来创建一个excel文件。具体步骤如下：

1、确认存储位置，文件命名跟随时间格式

2、封装写入格式

3、实现随机数列生成

4、定位行和列把随机数写入

5、统一写入条目数，实现入参确认条目

6、封装对文件夹内多余数据表的删除操作。

说明：最大支持60000条，这个是由于excel格式限制的，如果对大数据有更高要求的如，写入6000000数据的话可以进行循环获取到100个excel来导入。

实际文件生成效果图：

python3如何随机生成大数据存储到指定excel文档里

文件内容格式如下图

python3如何随机生成大数据存储到指定excel文档里

源码如下：



    

  1. import xlrd
    2. 

  2. import xlwt
    3. 

  3. from my_framework.log import Logger
    4. 

  4. import time,os
    5. 

  5. import random
    6. 

  6. # create a logger instance
    7. 

  7. logger = Logger(logger="file_process").getlog()
    8. 

  8. class file_process():
    9. 

  9.     """封装操作excel的方法"""
    10. 

  10.  
    11. 

  11.     # 获取某一页sheet对象
    12. 

  12.     def create_excel_file(self):
    13. 

  13.         da = time.strftime("%Y-%m-%d/%H-%M-%S", time.localtime())
    14. 

  14.         self.da_a = str(da.split('/')[0])
    15. 

  15.         self.da_b = str(da.split('/')[1])
    16. 

  16.         filename = "case_import"+(self.da_a+'-'+self.da_b).replace('-','.')+".xls"
    17. 

  17.         excel_path = os.path.dirname(os.path.abspath('.')) + 'config_filecase_import'
    18. 

  18.         self.ecl =os.path.join(excel_path,filename)
    19. 

  19.  
    20. 

  20.         book = xlwt.Workbook(encoding = 'utf-8')
    21. 

  21.         self.sheet1 = book.add_sheet('Sheet 1',cell_overwrite_ok = True)
    22. 

  22.         self.title = [u'进件号',u'批次号',u'批次名称',u'产品名称',u'贷款机构',u'产品类型',u'姓名',u'身份证',u'手机',u'年龄',u'性别'u'帐号',
    23. 

  23.  u'卡号',u'逾期天数',u'账龄',u'手别'	,u'最新欠款金额',u'委案金额',u'委案时间',u'退案时间',u'最近一次进入催收日期',
    24. 

  24.   u'额度',u'案件地区',u'币种',u'开户行',u'账单日',u'开卡日期',u'是否分期',u'分期情况',u'本金',u'利息',u'违约金',
    25. 

  25.   u'最低还款',u'委案最低还款额',u'争议金额',u'争议后金额',u'服务费',u'超限费',u'累计还款',u'委前最后付款额',u'委前最后付款日',
    26. 

  26.  u'案件备注',u'家庭地址',u'家庭电话',u'公司名称',u'公司电话',u'公司地址',u'常用地址',u'账单地址',u'邮政编码',u'其他地址',
    27. 

  27.   u'QQ',u'微信',u'支付宝',u'邮箱',u'联系人1姓名',u'联系人1关系',u'联系人1电话',u'联系人2姓名',u'联系人2关系',u'联系人2电话',
    28. 

  28.   u'联系人3姓名',u'联系人3关系',u'联系人3电话']
    29. 

  29.  
    30. 

  30.         batch_code = ['SZ-GF-2018-06-20','SZ-GF-2018-06-20','SZ-GF-2018-06-20','SZ-GF-2018-06-20','SZ-GF-2018-06-20','SZ-GF-2018-06-20',
    31. 

  31.        'SZ-GF-2018-06-20','SZ-GF-2018-06-20']
    32. 

  32.         commit_money = ['255','452','1223','452','52']
    33. 

  33.         self.commit_date = [self.da_a]
    34. 

  34.         latest_debt_money = ['255','452','1223','452','52']
    35. 

  35.         self.limit_date = ['2019-09-01','2019-05-01','2019-08-21','2019-02-01','2019-12-01','2019-09-25','2019-09-19',]
    36. 

  36.         self.product_type = ['信贷','消费金融','信用卡']
    37. 

  37.         self.borrower_idnumber = ['422325198908151539','620503198108111211','360103198904054718']
    38. 

  38.         self.borrower_phone = ['13686821736']
    39. 

  39.         self.loan_institution = ['天天测试银行']
    40. 

  40.  
    41. 

  41.  
    42. 

  42.         self.write_data(self.title,0,line=1)#标题内容和格式写入
    43. 

  43.  
    44. 

  44.  
    45. 

  45.         # 数据导入的条数
    46. 

  46.         data_num = 60000
    47. 

  47.         # 进件号写入
    48. 

  48.         bill_code = self.create_data_billcode(data_num)#获取5个随机字符
    49. 

  49.         j = self.title_local(u'进件号')
    50. 

  50.         self.write_data(bill_code, j, line=0)#对第一列进行写入，写入字段存放在lrst中
    51. 

  51.         #批次号写入
    52. 

  52.         batch_codes = self.create_data(batch_code,data_num)
    53. 

  53.         a = self.title_local(u'批次号')
    54. 

  54.         self.write_data(batch_codes, a, line=0)
    55. 

  55.         #委案金额写入
    56. 

  56.         commit_moneys = self.create_data(commit_money, data_num)
    57. 

  57.         a = self.title_local(u'委案金额')
    58. 

  58.         self.write_data(commit_moneys, a, line=0)
    59. 

  59.         #最新欠款金额写入
    60. 

  60.         latest_debt_moneys = self.create_data(latest_debt_money, data_num)
    61. 

  61.         a = self.title_local(u'最新欠款金额')
    62. 

  62.         self.write_data(latest_debt_moneys, a, line=0)
    63. 

  63.         #其它固定写入
    64. 

  64.         commit_dates, limit_dates, product_types, borrower_idnumbers, borrower_phones, loan_institutions = self.only_create_data(data_num)
    65. 

  65.         #委案时间写入
    66. 

  66.         aa = self.title_local(u'委案时间')
    67. 

  67.         self.write_data(commit_dates, aa, line=0)
    68. 

  68.         #退案时间写入
    69. 

  69.         bb = self.title_local(u'退案时间')
    70. 

  70.         self.write_data(limit_dates, bb, line=0)
    71. 

  71.         #产品类型写入
    72. 

  72.         cc = self.title_local(u'产品类型')
    73. 

  73.         self.write_data(product_types, cc, line=0)
    74. 

  74.         #身份证写入
    75. 

  75.         dd = self.title_local(u'身份证')
    76. 

  76.         self.write_data(borrower_idnumbers, dd, line=0)
    77. 

  77.         #手机号写入
    78. 

  78.         ee = self.title_local(u'手机')
    79. 

  79.         self.write_data(borrower_phones, ee, line=0)
    80. 

  80.         #贷款机构写入
    81. 

  81.         ff = self.title_local(u'贷款机构')
    82. 

  82.         self.write_data(loan_institutions, ff, line=0)
    83. 

  83.  
    84. 

  84.  
    85. 

  85.         #姓名写入
    86. 

  86.         i = self.title_local(u'姓名')
    87. 

  87.         brrower_name = self.create_data_name(data_num)  # 获取5个随机字符
    88. 

  88.         self.write_data(brrower_name, i, line=0)
    89. 

  89.         book.save(self.ecl)
    90. 

  90.         return filename
    91. 

  91.     def write_data(self,lst,num,line=0):
    92. 

  92.         """
    93. 

  93.  
    94. 

  94.         :param lst: 写入的字段内容的列表
    95. 

  95.         :param num: num来控制写入的是固定第几行第几列
    96. 

  96.         :param line: 判断写入的是一行还是一列
    97. 

  97.         :return: none
    98. 

  98.         """
    99. 

  99.         if line == 0:
    100. 

  100.             for i,item in enumerate(lst):
    101. 

  101.  self.sheet1.write(i+1, num, item)
    102. 

  102.         else:
    103. 

  103.             for i,item in enumerate(lst):
    104. 

  104.  self.sheet1.write(num, i, item)
    105. 

  105.     def title_local(self,str):
    106. 

  106.         for i, item in enumerate(self.title):
    107. 

  107.             if item == str:
    108. 

  108.  return i
    109. 

  109.  
    110. 

  110.     #进件号生成的随机算法
    111. 

  111.     def create_data_billcode(self,number):
    112. 

  112.         lrst=[]
    113. 

  113.         la = ['SZ','PH','HW','KL','WE','TY','DH','Z','H','W','L','E','Y','Q','SZK',
    114. 

  114.               'PHK','HWK','KLK','WEK','TYK','DHK','SRZ','PRH','HRW','KRL','WRE','TRY',
    115. 

  115.               'DRH','SLZ','PLH','HLW','KLL','WLE','TLY','DLH','SZL','PHL','HWL','KLL','WEL','TYL','DHL'
    116. 

  116.         'DRH', 'SLkZ', 'PkLH',
    117. 

  117.               'HLkW', 'KLkL', 'WLkE', 'TLkY', 'DLkH', 'SkZL', 'PkHL', 'HWkL', 'KLkL', 'WEkL', 'TkYL', 'DkHL']
    118. 

  118.         la1 = ['SZ', 'PH', 'HW', 'KL', 'WE', 'TY', 'DH', 'Z', 'H', 'W', 'L', 'E', 'Y', 'Q', 'SZK',
    119. 

  119.               'PHK', 'HWK', 'KLK', 'WEK', 'TYK', 'DHK', 'SRZ', 'PRH', 'HRW', 'KRL', 'WRE', 'TRY',
    120. 

  120.               'DRH', 'SLZ', 'PLH', 'HLW', 'KLL', 'WLE', 'TLY', 'DLH', 'SZL', 'PHL', 'HWL', 'KLL', 'WEyL', 'TyYL', 'DyHL'
    121. 

  121.        ,'DyRH',
    122. 

  122.               'SLkZ', 'PkLH',
    123. 

  123.               'HLkW', 'KLkL', 'WLkE', 'TLkY', 'DLkH', 'SkZL', 'PkHL', 'HWkL', 'KLkL', 'WEkL', 'TkYL', 'DkHL'
    124. 

  124.             'SZ', 'PH', 'HW',
    125. 

  125.               'K2L', 'W2E', 'T2Y', 'D2H', '2Z', '2H', '2W', '2L', '2E', '2Y', '2Q', '2SZK',
    126. 

  126.               'PHK', 'HWK', 'KLK', 'WEK', 'TYK', 'DHK', 'SRZ', 'PRH', 'HRW', 'KRL', 'WRE', 'TRY',
    127. 

  127.               'DRH', 'SLZ', 'PLH', 'HLW', 'KLL', 'WLE', 'TLY', 'DLH', 'SZL', 'PHL', 'HWL', 'KLL', 'WEyL', 'TyYL',
    128. 

  128.  
    129. 

  129.  
    130. 

  130.  
    131. 

  131.  
    132. 

  132.  
    133. 

  133.  
    134. 

  134.               ]
    135. 

  135.         for a in range(1,number+1):
    136. 

  136.             i = str(random.randint(0, 1000000000000))
    137. 

  137.             for j in la:
    138. 

  138.  jk=j
    139. 

  139.             j = random.choice(la1)
    140. 

  140.             ha = jk + '-' + self.da_a + '-' + i+j
    141. 

  141.             lrst.append(ha)
    142. 

  142.         return lrst
    143. 

  143.     #姓名生成的随机算法
    144. 

  144. 

    来源：pujen_yuan
    
                                                        
    声明：本站部分文章及图片转载于互联网，内容版权归原作者所有，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！
                            
    145.
上一篇 2018年9月8日
下一篇 2018年9月8日

相关推荐

首页
软件超市
企服市场
会员中心